@tofel

Спарсить данные с сайта?

Всем привет подскажите как и чем спарсить этот сайт.
import requests

url =  "https://mobile.888.ru/sport/search?text=%D0%9B%D0%B8%D0%B2%D0%B5%D1%80%D0%BF%D1%83%D0%BB%D1%8C"

r = requests.get(url)

print(r.text)


К сожалению сайт парситься не полностью, и ссылки не появляются. Знаю что есть selenium но хотелось бы узнать есть ли еще способ чем можно спарсить ссылки на футбольные команды.
  • Вопрос задан
  • 143 просмотра
Решения вопроса 1
@tofel Автор вопроса
Видимо без selenium не обойтись

from selenium import webdriver
from selenium.webdriver.firefox.options import Options
import time

options = Options()
options.headless = True

driver = webdriver.Firefox(options=options,executable_path=r"C:\geckodriver.exe")
driver.set_page_load_timeout (30)
driver.get('https://mobile.888.ru/sport/search?text=%D0%9B%D0%B8%D0%B2%D0%B5%D1%80%D0%BF%D1%83%D0%BB%D1%8C')
time.sleep(3)
html = driver.page_source
print(html)
Ответ написан
Пригласить эксперта
Ответы на вопрос 3
dimonchik2013
@dimonchik2013
жизнь прекрасна в Амстердаме, а в Воронеже gаvно
смоотри код страницы
Ответ написан
FeNUMe
@FeNUMe
В requests добавьте хедеры аналогичные тем что отправляет браузер, который получает результаты полностью.
Ответ написан
@vlsnake
там javascript, без selenium и движка (минимум phantomjs, оптимально chrome --headless) не получится спарсить

for FeNUMe:
# -*- coding: utf-8 -*-
import sys
if sys.hexversion < 0x03000000:
    from urllib import urlopen
    from urllib import URLopener
else:
    from urllib.request import urlopen
    from urllib.request import URLopener


useragent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36"
URLopener.version = useragent

text = urlopen('https://mobile.888.ru/sport/search?text=%D0%9B%D0%B8%D0%B2%D0%B5%D1%80%D0%BF%D1%83%D0%BB%D1%8C')
print text.read()
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы
15 нояб. 2019, в 01:36
10000 руб./за проект
15 нояб. 2019, в 01:32
5000 руб./за проект