@Makcimka

Какую базу данных выбрать?

Есть большой поток данных приходящих в JSON, суть в том что этот JSON большой приходится разбирать его, на каждое поле в цикле идет запрос проверяется на совпадения по id, если нет то добавляется в БД, но пока происходит итерация приходит еще JSON данные, в результате MongoDB теряет часть данных, постоянно занята и при запросе выборки долго не отвечает. Чем ее заменить?
  • Вопрос задан
  • 136 просмотров
Пригласить эксперта
Ответы на вопрос 3
sim3x
@sim3x
postgresql
Ответ написан
Комментировать
@immelnikoff
Изучаю БД
По сути, почти любую СУБД можно настроить для этих целей.
Возьмите, например, MySQL 8.0. Ставите сервер MySQL и устанавливаете наинизший уровень изолированности транзакций – READ UNCOMMITED – для отключения MVCC и, соответственно, повышения конкурентности. Этот сервер будет принимать данные на запись.
Ставите ещё один сервер MySQL – реплику (основной сервер, соответственно, – мастер). К нему будут делаться запросы на чтение.
Ответ написан
inoise
@inoise
Solution Architect, AWS Certified, Serverless
Узкое место точно в бд? Если так то монго горизонтально масштабируется, ну или просто подкинуть ресурсов если серверу тяжело. Если узкое место на самом деле не там то думать дальше. Ну и не понятно что значит "большой поток" по вашей версии
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы