@p19e0n

Как обработать большое количество информации разом, использую Cron?

Добрый день, господа! Задача состоит в следующем: с огромного количества ссылок взять определенную информацию и записать ее в БД(каждые 2 часа по Cron).
Если записывать их одним PHP файлом, то уйдет уйму времени и при непредусмотренной ошибке все пойдет крахом.
Первая идея пришедшая мне в голову это создать множество файлов PHP-файлов и запустить их скриптом sh, но этих самых ссылок очень большое количество и по итогу файлов может получится больше 1000.
Как правильно реализовать эту задачу?
  • Вопрос задан
  • 99 просмотров
Пригласить эксперта
Ответы на вопрос 2
inoise
@inoise
Solutions Architect, AWS Certified, Hybrid Cloud
Давно я этого не говорил, но! Очереди вам в помощь. RabbitMQ, например, как брокер. Раз в 2 часа накидываете одним скриптом в него задач, а с другой стороны очереди ставите сколько угодно одинаковых обработчиков. Чем больше тем быстрее обработка
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы
26 авг. 2019, в 01:06
2000 руб./за проект
25 авг. 2019, в 23:48
4000 руб./за проект
25 авг. 2019, в 22:35
1000 руб./за проект