Как обработать большое количество информации разом, использую Cron?
Добрый день, господа! Задача состоит в следующем: с огромного количества ссылок взять определенную информацию и записать ее в БД(каждые 2 часа по Cron).
Если записывать их одним PHP файлом, то уйдет уйму времени и при непредусмотренной ошибке все пойдет крахом.
Первая идея пришедшая мне в голову это создать множество файлов PHP-файлов и запустить их скриптом sh, но этих самых ссылок очень большое количество и по итогу файлов может получится больше 1000.
Как правильно реализовать эту задачу?
Давно я этого не говорил, но! Очереди вам в помощь. RabbitMQ, например, как брокер. Раз в 2 часа накидываете одним скриптом в него задач, а с другой стороны очереди ставите сколько угодно одинаковых обработчиков. Чем больше тем быстрее обработка
Простой
Средний
