@activebomb

Как спарсить с нескольких страниц?

Смотрите, сейчас у меня парсит результат только с одной страниц, допустим - https://www.google.ru/search?q=%D0%BA%D0%B0%D1%80%... https://www.google.ru/search? с этой страницы.

Мне нужно, что-бы парсился результат с всех страниц которые есть, тоесть что-бы start=10, чтобы после того как страница была спарсена, к start=10, прибавлялось еще 10.

пример кода:
def bf_parse(base_url, headers):
    session = requests.session()
    request = session.get(base_url, headers=headers)
    if request.status_code == 200:
        soup = bs(request.content, 'html.parser')
        links = (d.find('a') for d in soup.find_all('div', attrs=('goodsDescription')))
        users = {a.get('href') for a in links if a is not None}
        f = open("user_baza.txt", "a")
        f.write('\n'.join(users))
        f.close()
        print('\n'.join(users))
    else:
        print("ерор")


bf_parse(base_url, headers)
  • Вопрос задан
  • 113 просмотров
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы