@p19e0n

Как обработать большое количество информации разом, использую Cron?

Добрый день, господа! Задача состоит в следующем: с огромного количества ссылок взять определенную информацию и записать ее в БД(каждые 2 часа по Cron).
Если записывать их одним PHP файлом, то уйдет уйму времени и при непредусмотренной ошибке все пойдет крахом.
Первая идея пришедшая мне в голову это создать множество файлов PHP-файлов и запустить их скриптом sh, но этих самых ссылок очень большое количество и по итогу файлов может получится больше 1000.
Как правильно реализовать эту задачу?
  • Вопрос задан
  • 129 просмотров
Пригласить эксперта
Ответы на вопрос 2
inoise
@inoise
Solution Architect, AWS Certified, Serverless
Давно я этого не говорил, но! Очереди вам в помощь. RabbitMQ, например, как брокер. Раз в 2 часа накидываете одним скриптом в него задач, а с другой стороны очереди ставите сколько угодно одинаковых обработчиков. Чем больше тем быстрее обработка
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы