Apache Spark или Akka Cluster для потоковой обработки?

Что лучше использовать для потоковой обработки данных?
Имеются задачи, на вход которым подаются небольшие строки, далее задачи посылают множество запросов к различным API (vk, twitter, yandex) и в конце сохраняют результат в MongoDB. Время выполнения одной задачи 0.5 - 3 сек. Операции с диском не производятся.
Какой вариант выбрать, чтобы добиться наибольшей производительности?
  • Вопрос задан
  • 1578 просмотров
Пригласить эксперта
Ответы на вопрос 1
@f9k56
Параллелить задачи. И базу специальную, типа такой https://clickhouse.yandex/
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы