@kopelev2000

Хочу спарсить с OLX.ua номера телефонов, но ничего не выходит, выбивает надпись «зафиксирована подозрительная активность», что можно сделать?

Хочу спарсить с OLX.ua номера телефонов, но ничего не выходит, выбивает надпись "зафиксирована подозрительная активность", использую прокси, перепробовал огромный список имеющихся у меня проксей, страница загружается, как только начинает переходить по ссылкам появляется данное окно:
5de5367fd10fc280276907.png
Что можно сделать, чтобы решить данную проблему?
Код
from selenium import webdriver
import time
import random

urls = open("input.txt", "r")
for url in urls:

    myProxy = random.choice(open('proxy.txt').readlines())
    print(myProxy + "\n")

    def get_url(driver): 
        driver.get(url)
        print("GOT URL")
        time.sleep(3)


    def press_cookie_btn(driver):
        cookie_btn = driver.find_element_by_xpath("//div[@class='topinfo rel']"
                                                  "/button[@class='cookie-close abs cookiesBarClose']")
        cookie_btn.click()
        print("COOKIE")
        time.sleep(2)


    def page_pagination(driver):
        ars = driver.find_elements_by_xpath("//a[@class='marginright5 link linkWithHash detailsLink']")
        urls_1 = []
        for ar in ars:
            url_1 = ar.get_attribute("href")
            urls_1.append(url_1)
            print(url_1)
        for url_2 in urls_1:
            driver.get(url_2)
            time.sleep(3)
            driver.get(url)
            time.sleep(3)



    def main():
        chrome_options = webdriver.ChromeOptions()
        chrome_options.add_argument('--proxy-server=%s' % myProxy)
        driver = webdriver.Chrome(options=chrome_options)
        driver.implicitly_wait(10)
        get_url(driver)
        press_cookie_btn(driver)
        page_pagination(driver)
        driver.quit()


    main()

urls.close()
  • Вопрос задан
  • 520 просмотров
Пригласить эксперта
Ответы на вопрос 2
gbg
@gbg
Любые ответы на любые вопросы
Прекратить нарушать ToS, например.
Ответ написан
@WebReklamist
Веб-разработчик и SEO-специалист
kopelev2000 , попробуйте рандомизировать паузы на страницах и вообще все, что только возможно.
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы