Задать вопрос
@tofel
python

Спарсить данные с сайта?

Всем привет подскажите как и чем спарсить этот сайт.
import requests

url =  "https://mobile.888.ru/sport/search?text=%D0%9B%D0%B8%D0%B2%D0%B5%D1%80%D0%BF%D1%83%D0%BB%D1%8C"

r = requests.get(url)

print(r.text)


К сожалению сайт парситься не полностью, и ссылки не появляются. Знаю что есть selenium но хотелось бы узнать есть ли еще способ чем можно спарсить ссылки на футбольные команды.
  • Вопрос задан
  • 197 просмотров
Комментировать
Подписаться 1 Простой Комментировать
Решения вопроса 1
@tofel Автор вопроса
Видимо без selenium не обойтись

from selenium import webdriver
from selenium.webdriver.firefox.options import Options
import time

options = Options()
options.headless = True

driver = webdriver.Firefox(options=options,executable_path=r"C:\geckodriver.exe")
driver.set_page_load_timeout (30)
driver.get('https://mobile.888.ru/sport/search?text=%D0%9B%D0%B8%D0%B2%D0%B5%D1%80%D0%BF%D1%83%D0%BB%D1%8C')
time.sleep(3)
html = driver.page_source
print(html)
Ответ написан
1 комментарий
1 комментарий
Пригласить эксперта
Ответы на вопрос 3
dimonchik2013
@dimonchik2013
non progredi est regredi
смоотри код страницы
Ответ написан
Комментировать
Комментировать
FeNUMe
@FeNUMe
В requests добавьте хедеры аналогичные тем что отправляет браузер, который получает результаты полностью.
Ответ написан
Комментировать
Комментировать
@vlsnake
там javascript, без selenium и движка (минимум phantomjs, оптимально chrome --headless) не получится спарсить

for FeNUMe:
# -*- coding: utf-8 -*-
import sys
if sys.hexversion < 0x03000000:
    from urllib import urlopen
    from urllib import URLopener
else:
    from urllib.request import urlopen
    from urllib.request import URLopener


useragent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36"
URLopener.version = useragent

text = urlopen('https://mobile.888.ru/sport/search?text=%D0%9B%D0%B8%D0%B2%D0%B5%D1%80%D0%BF%D1%83%D0%BB%D1%8C')
print text.read()
Ответ написан
Комментировать
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы
Вакансии с Хабр Карьеры
Team Lead (С++, Python)
TopAssistant • Москва
от 400 000 ₽
Python developer
Bell Integrator
До 350 000 ₽
Python developer
Greenway Global • Новосибирск
от 150 000 ₽
Ещё вакансии
Заказы с Хабр Фриланса
Установить верстку на WP
23 апр. 2024, в 07:22
4999 руб./за проект
Доработать мобильное приложение на Swift
23 апр. 2024, в 06:07
1500 руб./в час
Доработать мобильное приложение на Kotlin
23 апр. 2024, в 06:05
1500 руб./в час
Ещё заказы