@rink0

Скорость парсинга, первый раз 5 минут, второй раз 1 минута, как так?

У меня есть парсер, вкратце что он делает: парсит картинки с сайта и разбивает по папкам.
Мне очень важно время выполнение(на сколько быстро выполнится этот скрипт)
И вот запустив первый раз, 8 папок спарсилось за 5 минут и 30 секунд, запустив второй раз примерно минута. Пробывал чистить кэш (в командной строке ipconfig /flushdns) результат тот же 1 минута
Как так?
  • Вопрос задан
  • 314 просмотров
Пригласить эксперта
Ответы на вопрос 3
dimonchik2013
@dimonchik2013
non progredi est regredi
еще есть кеш на сервере

меряй скорость соединения отдельно, расладывалку по папкам отдельно
Ответ написан
Комментировать
@Verz1Lka
Web scraping expert
Может он не качает файлы повторно?
У scrapy, например, есть механизм в image pipeline чтоб не скачивать повторно не устаревшие файлы.
Ответ написан
Комментировать
@xDimus
Почистите кэш файлов, ipconfig /flushdns очищает кэш dns запросов
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы