staffID
@staffID

Большое кол-во данных mysql?

Нужно было реализовать систему заполнения страны и города.
Для это нужна была база данных стран и городов.
Вопрос был: "где взять все эти данные?"
Недолго думая решил выкачать их из vk с помощью api.
Написал скрипт. и пошел спать.
С утра встаю и вижу стран: 236 (норм)
Городов: ~4,716,527 на сумму 239.8 мб

Решил протестировать все это дело. Например по запросу Россия скрипт думал 12 сек.

Суть вопроса - "Почему у ВК такой обход намного быстрее?".

У меня у самого есть Варианты:
1. Огромное кол-во серверов, все это обрабатывают на спокойном.
2. Данные распределены по таблицам стран, а не в одной куче (хотя id городов идут по возрастанию всегда). (Russia - 157.000 городов)
3. Из-за скорости собственной базы данных.
  • Вопрос задан
  • 703 просмотра
Решения вопроса 3
DmitriyEntelis
@DmitriyEntelis
Думаю за деньги
Режим телепата:
1) у Вас просто нет индекса в таблице cities по полю country_id.
Покажите результат выполнения show create table cities;
2) если mysql запущен с дефолтными конфигами - ему тупо не хватает памяти.
Ответ написан
Jump
@Jump
Системный администратор со стажем.
Большое кол-во данных mysql?
Где?
Вот это "стран: 236 (норм), Городов: ~4,716,527 на сумму 239.8 мб" - очень малое количество данных, просто смешное.
Решил протестировать все это дело. Например по запросу Россия скрипт думал 12 сек.
Ну если у вас скрипт медленно "думает" значит надо написать нормальный скрипт.
Выборка из такого количества будет занимать доли секунды на самом старинном сервере.
Более того - за 12секунд или около того реально даже вручную выбрать эти данные из БД напечатанной на бумаге.
Ответ написан
deniamnet
@deniamnet
New Yorker, web developer
Индексы не пробовали ставить? У меня по 15 млн записей выборка за 0.03 сек.

Кроме того, это НЕ большое кол-во данных, это почти ничего. Большое - это 50 петабайт, например.
Ответ написан
Пригласить эксперта
Ответы на вопрос 1
@vshvydky
fias.nalog.ru Если конечно тебе нужны данные именно по РФ.
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы
YCLIENTS Москва
от 200 000 до 350 000 ₽
Ведисофт Екатеринбург
от 25 000 ₽
ИТЦ Аусферр Магнитогорск
от 100 000 до 160 000 ₽