@aleksandrozz

Как запустить большой парсер PHP?

Здравствуйте!

У меня есть парсер написанный на PHP с использованием библиотеки Simple HTML DOM. Запускаю скрипт через CRON. По ходу выполнения скрипта выдает 502 ошибку.

Сам скрипт такого плана:

$page_list = 30; // значение переменной парсится

for ($i = $page_list; $i > 0; $i--) {
  foreach ($products as $product) { // 60 товаров на странице
    // Открываем каждый товар и парсим данные
  }
  
  // В среднем на парсинг одной страницы (60 товаров) уходит 30 секунд
}


Подскажите, как лучше запускать такой скрипт, чтобы он отработал до конца?
  • Вопрос задан
  • 328 просмотров
Пригласить эксперта
Ответы на вопрос 2
@Eugeny1987
Работаю с HostCMS
через консоль
Ответ написан
Taraflex
@Taraflex
Ищу работу. Контакты в профиле.
// Открываем каждый товар и парсим данные

Тут можно оптимизировать. Можно качать параллельно.
https://github.com/chuyskywalker/rolling-curl
Ну и конечно запускать скрипт как консольное приложение. Вы же похоже через wget или curl какой-нибудь запускаете.
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы