staffID
@staffID

Большое кол-во данных mysql?

Нужно было реализовать систему заполнения страны и города.
Для это нужна была база данных стран и городов.
Вопрос был: "где взять все эти данные?"
Недолго думая решил выкачать их из vk с помощью api.
Написал скрипт. и пошел спать.
С утра встаю и вижу стран: 236 (норм)
Городов: ~4,716,527 на сумму 239.8 мб

Решил протестировать все это дело. Например по запросу Россия скрипт думал 12 сек.

Суть вопроса - "Почему у ВК такой обход намного быстрее?".

У меня у самого есть Варианты:
1. Огромное кол-во серверов, все это обрабатывают на спокойном.
2. Данные распределены по таблицам стран, а не в одной куче (хотя id городов идут по возрастанию всегда). (Russia - 157.000 городов)
3. Из-за скорости собственной базы данных.
  • Вопрос задан
  • 684 просмотра
Решения вопроса 3
DmitriyEntelis
@DmitriyEntelis
Думаю за деньги
Режим телепата:
1) у Вас просто нет индекса в таблице cities по полю country_id.
Покажите результат выполнения show create table cities;
2) если mysql запущен с дефолтными конфигами - ему тупо не хватает памяти.
Ответ написан
Большое кол-во данных mysql?
Где?
Вот это "стран: 236 (норм), Городов: ~4,716,527 на сумму 239.8 мб" - очень малое количество данных, просто смешное.
Решил протестировать все это дело. Например по запросу Россия скрипт думал 12 сек.
Ну если у вас скрипт медленно "думает" значит надо написать нормальный скрипт.
Выборка из такого количества будет занимать доли секунды на самом старинном сервере.
Более того - за 12секунд или около того реально даже вручную выбрать эти данные из БД напечатанной на бумаге.
Ответ написан
deniamnet
@deniamnet
New Yorker, web developer
Индексы не пробовали ставить? У меня по 15 млн записей выборка за 0.03 сек.

Кроме того, это НЕ большое кол-во данных, это почти ничего. Большое - это 50 петабайт, например.
Ответ написан
Пригласить эксперта
Ответы на вопрос 1
@vshvydky
fias.nalog.ru Если конечно тебе нужны данные именно по РФ.
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы