Ternick
@Ternick

Как можно делать много запросов в минуту как можно быстрее?

Мой python скрипт должен парсить инфу с нескольких сайтов и желательно как можно быстрее.
Мои мысли:
1) В обычном requests в одном потоке всё работает ультра медленно.
2) Потом мне в голову пришла идея использовать не один поток, а несколько, но в интернете прочитал что всё равно я не смогу делать несколько запросов за раз из-за GIL (или как то так, там говориться что его задача упорядочивать потоки и быть в роли светофора.)
3)Последним что мне пришло в голову это асинхронность, но я даже не знаю как её применить к запросам так что бы это было эффективнее.
Как можно реализовать мою задумку или быстрее чем потоки ничего нет ?
  • Вопрос задан
  • 103 просмотра
Пригласить эксперта
Ответы на вопрос 3
kgb_zor
@kgb_zor
I need your traceback.
Если прокси бесплатный - не надейтесь на скорость.
но я даже не знаю как её применить к запросам так что бы это было эффективнее.

Просто откройте туториалы по aiohttp - их куча.

Варианты.
1. Купить серверный процессор с большим кол-вом потоков, при этом оперативки чем больше тем лучше.
2. Купить интернет получше.
3. Купить прокси с минимальным пингом.
4. Перейте на GoLang.
Ответ написан
@antonksa
Есть готовые многопоточные и асинхронные парсеры и пауки. Я бы рекомендовал не изобретать велосипед, тем более судя по вашей квалификации начинающего велосипед может и не поехать, а воспользоваться готовым решением.
Ответ написан
Комментировать
adugin
@adugin Куратор тега Python
Используйте aiohttp
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы