Задать вопрос
oe24y
@oe24y
php

Как в PHP curl при парсинге обработать минутный разрыв соединения?

Есть 100 000 URL-адресов.
Каждая из страниц парсится и из ее контента извлекается содержимое.
Но иногда пропадает интернет и все ломается.
Как обработать такое?
(парсинг ведется на Simple HTML DOM + Curl + Mysql)
  • Вопрос задан
  • 125 просмотров
Комментировать
Подписаться 1 Средний Комментировать
Пригласить эксперта
Ответы на вопрос 1
Jump
@Jump
Системный администратор со стажем.
Но иногда пропадает интернет и все ломается.
Как обработать такое?
Перед выполнением записывать какой запрос выполняете.
Если все сломалось запускаем со следующего, текущий в конец очереди, сообщение в лог.
Ответ написан
3 комментария
3 комментария
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы
Вакансии с Хабр Карьеры
PHP Developer
YCLIENTS • Москва
от 200 000 до 350 000 ₽
PHP разработчик
Ведисофт • Екатеринбург
от 25 000 ₽
Midlle PHP developer (backend)
ИТЦ Аусферр • Магнитогорск
от 100 000 до 160 000 ₽
Ещё вакансии
Заказы с Хабр Фриланса
HFT (high frequency trading) разработка торгового бота c#
24 апр. 2024, в 22:30
200000 руб./за проект
Сверстать лейдинг на Joomla
24 апр. 2024, в 22:11
2000 руб./за проект
SEO сайта услуг
24 апр. 2024, в 21:49
10000 руб./за проект
Ещё заказы