Смотрите, сейчас у меня парсит результат только с одной страниц, допустим -
https://www.google.ru/search?q=%D0%BA%D0%B0%D1%80%... https://www.google.ru/search? с этой страницы.
Мне нужно, что-бы парсился результат с всех страниц которые есть, тоесть что-бы start=10, чтобы после того как страница была спарсена, к start=10, прибавлялось еще 10.
пример кода:
def bf_parse(base_url, headers):
session = requests.session()
request = session.get(base_url, headers=headers)
if request.status_code == 200:
soup = bs(request.content, 'html.parser')
links = (d.find('a') for d in soup.find_all('div', attrs=('goodsDescription')))
users = {a.get('href') for a in links if a is not None}
f = open("user_baza.txt", "a")
f.write('\n'.join(users))
f.close()
print('\n'.join(users))
else:
print("ерор")
bf_parse(base_url, headers)
