@vasil3nk
python junior developer

Что делать с проблемой при парсинге сайта?

import requests
from bs4 import BeautifulSoup
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from random import choice

    
def main():
    url = '--url--'
    useragents = open('useragents.txt').read().split('\n')
    proxies = open('proxies').read().split('\n')

    proxy = {'http' : 'http://' + proxies[0]}
    useragent = {'User-Agent' : choice(useragents)}

    opts = Options()

    opts.add_argument("user-agent=" + str(useragents[0]))
    opts.add_argument('--proxy-server=http://' + proxies[0])
    driver = webdriver.Chrome(executable_path=r'--path to chromedriver--',chrome_options=opts)
    driver.get(url)
    print(driver.find_element_by_class_name('ip').text())


if __name__ == '__main__':
    main()

Испoльзую web-browser slenium для для нахождения свободных дат на сайте посольства. После нескольких минут работы
сайт не пускает и выдает ошибку(Не удается получить доступ к сайту). User-agent's меняю, proxy купленный. Как сайт определяет что работает бот??
  • Вопрос задан
  • 293 просмотра
Решения вопроса 1
dimonchik2013
@dimonchik2013
non progredi est regredi
по ИП прокси, например

или никак - просто блочит частые попытки с IP
Ответ написан
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы
26 апр. 2024, в 09:18
500 руб./в час
26 апр. 2024, в 06:46
1500 руб./в час
26 апр. 2024, в 05:31
1000 руб./за проект