Этот вопрос закрыт для ответов, так как повторяет вопрос Как убрать дубликаты из результата?
@activebomb

Как убрать дубликаты из результата в парсинге?

def bf_parse(base_url, headers):
    session = requests.session()
    request = session.get(base_url, headers=headers)
    if request.status_code == 200:
        soup = bs(request.content, 'html.parser')
        links = [link.get('href') for link in soup.find_all('a', title='Просмотр профиля')]
        f = open("user_baza.txt", "a")
        f.write('\n'.join(links))
        f.close()
        print('\n'.join(links))
    else:
        print("Ссылки на пользователей на этой страницы кончились, замените парс-ссылку")


bf_parse(base_url, headers)


Что нужно встроить в код, что-бы все дубликаты ( в виде ссылок ) удалялись?
  • Вопрос задан
  • 83 просмотра
Пригласить эксперта
Ваш ответ на вопрос

Вопрос закрыт для ответов и комментариев

Потому что уже есть похожий вопрос.
Похожие вопросы