@ilkar

Есть ли готовый фреймворк для организации конвейера очередей?

Здравствуйте!
Прошу подсказать готовый фреймворк для организации конвейера очередей, желательно на основе RabbitMQ

Есть проект, в несколько шагов обрабатывающий массив данных при помощи модулей, завернутых в docker контейнеры. При выполненни шага самописный менеджер создает очередь в RabbitMQ, поднимает контейнер(ы) и передает им параметры очереди для соединения. После этого контейнеры обрабатывают задачи в очереди. Как только задачи в очереди заканчиваются, происходит переход к следующему шагу.
Такая архитектура существенно замедляет времени прохождения материалом всей цепочки обработки так как в одном шаге может быть довольно большое количество задач и пока все они не выполнятся переход к следующему шагу не происходит. Я ищу готовый фреймворк, в котором можно было бы настроить правила перекладывания задач из одной очереди в другой и их удаления.
  • Вопрос задан
  • 172 просмотра
Пригласить эксперта
Ответы на вопрос 1
dimonchik2013
@dimonchik2013
non progredi est regredi
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы