@heatshot13

Как парсить сайт где нужна регистрация?

Есть сайт где для того что бы видеть контент нужно быть авторизованным , как сделать парсинг ? . Какие есть решения на PHP + JAVASCRIPT ?
  • Вопрос задан
  • 2753 просмотра
Пригласить эксперта
Ответы на вопрос 6
@l1l1l1
Советую использовать для граббинга Selenium.
Ответ написан
Комментировать
ThunderCat
@ThunderCat Куратор тега PHP
{PHP, MySql, HTML, JS, CSS} developer
nor1m
@nor1m
web-developer
Curl, передавать куки или сессию с токеном
Ответ написан
Комментировать
Jump
@Jump
Системный администратор со стажем.
Сильно зависит от того что за ресурс вы собрались парсить.
Если там идет просто авторизация - банальная работа с кукисами то там все просто - curl, wget и тому подобное, авторизируемся, сохраняем кукисы тянем страницы и разбираем их.

А вот если на сайте нужный контент отдается JS скриптом - нужно будет выполнить этот самый скрипт, т.е нужна среда умеющая выполнять JS, в особо тяжелых случаях приходится тупо скриптом запускать браузер и работать с ним программно.
Ответ написан
azerphoenix
@azerphoenix
Java Software Engineer
Visual Web Ripper
Ответ написан
Комментировать
@ynblpb_spb
дятел php
casperjs
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы