@turekulovass

Какую БД использовать для мониторинга соц сетей?

Так как мониторинг соц.сетей нужно все найденные данные сохранять. Из за этого каждым новым запросом база будет расти. Задача состоит в том, что БД:
- поддерживала большой объем данных (она нарастающая)
- возможность создавать динамические таблицы
  • Вопрос задан
  • 304 просмотра
Решения вопроса 1
angrySCV
@angrySCV
machine learning, programming, startuping
для обработки неограниченно растущих обьемов данных не используются табличные БД, типа SQL (тк они используют фиксированные структуры)
а вам необходимо использовать динамические системы, которые можно легко масштабировать и расширять, обычно такие системы завязаны на структурах типа "ключ->значение", позволяющие практически не ограниченно расширять хранение, и динамически изменять количество параллельно обрабатывающих эти данные "рабочих" (каждому из них которых можно задать свой диапазон ключей для обработки)
рекомендую для пробы посмотреть на технологии типа kafka, cassandra
Ответ написан
Комментировать
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы