@Pivacik

Как спарсить html страницы?

Есть сайт, на котором перед просмотром нужно авторизоваться.
Дальше есть список товаров доступный по ссылке вида http://.....ru/product/id/71680
Суть в том что в окне браузера часть информации скрыта, но есть перейти в панель разработчика (пробовал в хроме) и во вкладке sources сохранить эту страницу в виде 71680.html и открыть локально, то будет доступна вся информация.
Подскажите как можно автоматизировать этот процесс?

UPD: Сейчас проверил, не обязательно заходить в панель разработчика, достаточно просто сохранить документ не полностью а только html.
  • Вопрос задан
  • 157 просмотров
Пригласить эксперта
Ответы на вопрос 2
politon
@politon
HTML5,CSS3,JS,PHP,SQL,API,canvas,animation...
Если видна информация в ПР, то она скорее всего скрыта js.
При парсинге получаешь всю страницу, включая скрытый контент.
Ответ написан
Комментировать
alsolovyev
@alsolovyev
Как-то можно посмотреть скрытую информацию на сайте? Какой-то js код(метод), который после нажатия показывает информацию.

Тут два варианта решения:
1. Разбираться как метод работает и написать свой, который будет вызывать его
2. Имитировать клик

Для примера как работает клик на selenium:
driver = webdriver.Firefox()
driver.get("http://www.google.ca")
element = driver.find_element_by_link_text("Gmail")
element.click()
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы