Как парсить AJAX сайты в нативном PHP без расширений?

Question

zeuss56 @zeuss56

Как парсить AJAX сайты в нативном PHP без расширений?

Интересна возможность использования движка V8 на нативном PHP7. То есть обычная PHP библиотека. Может быть аналог V8, не полноценный, но достаточный для рендеринга веб-страниц и последующего индесирования (поисковой движок, да, очередной велосипед!).

UPD [переформулировал]:

Если вы никогда не слышали про устройство поисковых движков, парсинг, краулеринг, AJAX, ну не надо называть меня школьником. Если вы не признаёте native PHP не надо называть меня говнокодером, извращенцем, моральным уродом и т.д.

Делаю поисковой движок.
В распоряжении PHP сервер. Расширения или дополнительное ПО на сервер не устанавливаю. Хочу парсить контент сайтов в том же виде, что у клиента - для этого нужна поддержка JavaScript. Банальный вариант, где без JavaScript никак - сайт подгружает контент через AJAX лоадер и не поддерживает noscript контент. Как единственно верный вариант предполагаю библиотеку, которая исполняет JavaScript и выдаёт в результате html+css, которые скрипт дальше обрабатывает.

Вопрос задан более трёх лет назад
1443 просмотра

13 комментариев

Подписаться 1 Оценить 13 комментариев

Vitaliy @Ni55aN

чем не вариант запустить nodejs и к нему обращаться за результатом из РНР?

Написано более трёх лет назад
zeuss56 @zeuss56 Автор вопроса

Виталий Столяров: не вариант, ну я же написал без модулей, сис. вставок, на нативном пхп

Написано более трёх лет назад
zeuss56 @zeuss56 Автор вопроса

Виталий Столяров: Эти ваши варианты с модулями или дополнительным по прекрасно гуглятся и я бы не задавал вопросов

Написано более трёх лет назад
Vitaliy @Ni55aN

Вадим Егоров: просто такие критерии обычно только вредят

Написано более трёх лет назад
zeuss56 @zeuss56 Автор вопроса

Виталий Столяров: Мне нужен гибкий код, который бы работал на любом сервере и не требовал ничего, кроме AMP сервера

Написано более трёх лет назад
zeuss56 @zeuss56 Автор вопроса

Виталий Столяров: Я не поклонник модулей да и в некоторых случаях их установить нельзя - например, шаред хостинг :)

Написано более трёх лет назад
Vitaliy @Ni55aN

Вадим Егоров: https://github.com/phpv8/v8js

Написано более трёх лет назад
Vitaliy @Ni55aN

Вадим Егоров: есть только расширение из PECL, выше ссылка

Написано более трёх лет назад
zeuss56 @zeuss56 Автор вопроса

Виталий Столяров: Гугл прекрасно выдаёт это расширение первой ссылкой, но расширение равно как и модуль (здесь синонимы, но разницу понимаю), я об этом и говорил, они мне не нужны.
Мне действительно интересно, почему на нативном php нельзя хоть как-нибудь косячно отработать JS для получения контента. Мне нужен только текст на странице для индексации сайтов для тех случаев, когда сайт не отображает контент без JS (AJAX лоадер; привет кепу). Собственно, поисковик пишу исключительно для опыта кодинга, поэтому покупать VPS не хочется, свой домашний сервер поставить можно, но работать будет с перебоями - причина личная.

Написано более трёх лет назад
zeuss56 @zeuss56 Автор вопроса

Виталий Столяров: Я не выжимаю из вас ответ. Я надеялся, что кто-то мог слышать о чём-то подобном и вспомнить сейчас. Гуглить я и сам умею :)

Написано более трёх лет назад
Vitaliy @Ni55aN

Вадим Егоров: выполнять JS код средствами чистого PHP это было бы безумно)) Думаю, единственным вариантом было бы делать replace нужных частей js кода (к переменным добавить $, document/window переопределить) но это было бы небезопасно

Написано более трёх лет назад
zeuss56 @zeuss56 Автор вопроса

Виталий Столяров: о безопасности речь не идёт - код можно исполнять в sandbox'e, это другая тема. А заменить все функции и конструкции replace'ами превратив всё в php-код - легче написать полноценный парсер JS, качество исполнения будет не очень, ведь исполнение JS должно соответствовать стандартам, иначе к чему весь цирк. Это можно попробовать. Но я всё-же склоняюсь к конвертерам/компиляторам с последующим допиливанием. Потому что я не в состоянии написать парсер JS с нуля, соблюдающий все стандарты.

Написано более трёх лет назад
Vitaliy @Ni55aN

Вадим Егоров: вот и ответ на вопрос сводится к тому, что на чистом РНР (с указанными критериями) это будет цирк

Написано более трёх лет назад

Решения вопроса 2

8 комментариев

zeuss56 @zeuss56 Автор вопроса

вы опоздали - я это уже понял во время обсуждения чуть выше
тогда другой вопрос - могу ли я портировать headless браузер с полноценного языка на PHP, это автоматом скомпилить (сконвертить) можно или придётся попыхтеть?

Написано более трёх лет назад
DevMan @DevMan

Вадим Егоров: придется пыхтеть. с неизвестным результатом.

Написано более трёх лет назад
zeuss56 @zeuss56 Автор вопроса

DevMan: не знаю, перерасту ли я когда-нибудь эти ужасные идеи, но пока буду писать парсер JS на PHP с нуля, так как с ошибками такой сомнительной компиляции не справлюсь.

Написано более трёх лет назад
zeuss56 @zeuss56 Автор вопроса

DevMan: К слову, stackoverflow.com/questions/6578132/php-headless-b... - миллионы таких тем.

Написано более трёх лет назад
DevMan @DevMan

Вадим Егоров: да хоть 100500 миллионов.
никто в здравом уме не будет писать интерпретатор js на php. есть вагон времени? дерзай.

Написано более трёх лет назад
zeuss56 @zeuss56 Автор вопроса

DevMan: А что на счёт PhantomJS? Не стоит так критично отзываться о людях, делающих такие вещи. Если 100500 тем - значит людям это нужно.

Написано более трёх лет назад
zeuss56 @zeuss56 Автор вопроса

DevMan: Эх, плохо я вникал:
By default the PhantomJS library will look for the PhantomJS executable in the bin folder relative to where your script is running ~/bin/phantomjs

Написано более трёх лет назад
DevMan @DevMan

Вадим Егоров: > Если 100500 тем - значит людям это нужно.
это значит что люди не видят/не знают других способов, и не вылазят за грани уютной пышечки. не более того.

> А что на счёт PhantomJS?
а что? вполне норм.

Написано более трёх лет назад

7 комментариев

zeuss56 @zeuss56 Автор вопроса

>нельзя просто так взять и загуглить ошибку
не согласен :) большинство ошибок именно так и решается. хотя некоторые тупят и идут сразу на форум
>Однако для того чтобы индексировать сайты, рендерить их вообще не надо(зачем?).
>Ваша задача получить контент(текст).
А если на сайте AJAX и он рассчитан на поддержку JS, без которого контент не появится? Только из-за этого и спрашиваю.

Написано более трёх лет назад
Александр Аксентьев @Sanasol Куратор тега PHP

Вадим Егоров:
> нельзя просто так взять и загуглить ошибку
это у меня в профиле написал, если что, не часть ответа :)

> А если на сайте AJAX и он рассчитан на поддержку JS, без которого контент не появится? Только из-за этого и спрашиваю.
про это вторая половина ответа, и первая строчка ответа :)

Написано более трёх лет назад
zeuss56 @zeuss56 Автор вопроса

Александр Аксентьев: судя по описанию этот dusk требует полноценного сервера. но зачем он мне тогда, если есть расширение JSv8 для PHP, которое при тех же условиях работает не хуже
вопрос то остаётся вопросом: Как парсить AJAX сайты на native PHP?

Написано более трёх лет назад
Александр Аксентьев @Sanasol Куратор тега PHP

Вадим Егоров: это расширение вообще не для таких целей.

Сравниваете теплое с мягким.
Полноценный браузер с одним расширением которые только исполняет JS.

Как вы хотите на нем открывать ajax сайты?

>Как парсить AJAX сайты на native PHP?
ответ-то такой же: не надо делать из скриптового языка браузер, потому что не получится. Ну нет в нём таких средств просто даже для теоретической реализации Proof of Concept, не говоря уже про продакшн использование.

Написано более трёх лет назад
zeuss56 @zeuss56 Автор вопроса

Александр Аксентьев:
>Ну нет в нём таких средств просто даже для теоретической реализации
Я тут хочу вас переубедить.
Если посмотреть абстрактно, то любой тьюринг-полноценный язык способен выполнить любой код, допустим, в режиме эмуляции, если не считать ограничения на время и память в PHP.
Например, написать на PHP ассемблер и исполнять любые бинарники, как тот же dusk.
Я не говорю, что нужно брать и эмулировать систему с браузером на слабеньком PHP, я лишь хочу сказать что вы не правы - нет ничего невозможного для тьюринг-полноценного языка, предназначен он для того или нет. Другое дело сложность реализации. Во мне играет азарт и если ничего подобного нет, буду делать, а пока смотрю, нет ли чего такого уже.

Написано более трёх лет назад
Александр Аксентьев @Sanasol Куратор тега PHP

Вадим Егоров: так вы определитесь шашечки или ехать...

Нужен эмулятор браузера, а не асм или "система с браузером".

Браузер это разбор и исполнение: html css js
На CSS можно забить.
JS допустим будет выполняться через v8js
HTML "разобрать" его ничего не даст, оно и не нужно.
Зато запустить v8js в контексте HTML кода, чтобы JS выполнился как бы на странице и работал с ней, вот это уже что-то похожее на браузер.
Я не представляю как(и на**я) это можно сделать на php.
По сути нужна своя виртуальная машина для JS и v8js можно выкинуть т.к. оно никак с htmlом взаимодействовать не будет.

Написано более трёх лет назад
zeuss56 @zeuss56 Автор вопроса

Александр Аксентьев:
>Нужен эмулятор браузера, а не асм или "система с браузером".
Я подчеркнул, что это грубый пример, который не имеет отношения к практике.

>На CSS можно забить.
Не совсем. Он влияет на отображение - display: none;, opacity: 0; и т.д. Нельзя разделять JS, HTML и CSS. Они влияют друг на друга. А вдруг логика JS завязана на свойствах CSS? Мало ли, какие извращения попадут в индекс.

>По сути нужна своя виртуальная машина для JS ...
Вы абсолютно правы
>и v8js можно выкинуть т.к. оно никак с htmlом взаимодействовать не будет.
Я полагал что v8js сможет работать с html-контекстом. Но v8js - расширение и это уже не важно.

На счёт JS VM я очень надеюсь что можно связать V8 или другой движок с кодом PHP, например, компилятором на подобие C++ to PHP, хоть это сомнительный метод. В общем не хочу писать с нуля, а нормальных способов портирования ПО на PHP не знаю.

Написано более трёх лет назад

Пригласить эксперта

Ответы на вопрос 1

4 комментария

zeuss56 @zeuss56 Автор вопроса

Вы наверно не туда написали
Или не прочитали вопрос
Потому что текст никак не вяжется
Или я вас не понимаю

Написано более трёх лет назад
Константин Б. @Kostik_1993

Вадим Егоров: все я туда написал. Да еще и как правильно. Ты действительно школьник который не воспринимает ответы которые его не устраивают. Повторю еще раз. PHP не может самостоятельно выполнять JS. PHP это PHP, а JS это JS. Они не написаны один на другом. Они не являются друг другу хоть кем-то. и если тебе нужно выполнить. Самая простая либа это V8. проще некуда. Если тебе нужно сгенерировать контент на севрвере так и используй PHP. если идет AJAX отдавай JSON и генерируй JS в браузере. НУ ИЛИ НА САМЫЙ КРАЙНИЙ СЛУЧАЙ, НАУЧИСЬ ФОРМУЛИРОВАТЬ СВОИ МЫСЛИ ПРАВИЛЬНО. ПОТОМУ КАК К ТВОЕМУ ВОПРОСУ ВСЕ ОТВЕТЫ ПРАВИЛЬНО НАПИСАНЫ.

Написано более трёх лет назад
zeuss56 @zeuss56 Автор вопроса

Перечитайте вопрос. Я делаю очередной поисковой движок (скобки тоже нужно читать)
Делаю поисковик на PHP. И мне нужно получать контент в том же виде, в котором он отобразится у пользователя. Некоторые сайты не отображаются вообще, если не работает JavaScript, AJAX loading называется. Могу отправить вас в википедию. Так что вы там про школьников говорили, Kostik_1993 ? Оскорбляете не прочитав вопрос. Я, конечно, не обижаюсь, я действительно ещё в школе, но это не повод быть злым. Холивар на эту тему.

Написано более трёх лет назад
Дмитрий Евграфович @Tantacula

Вадим Егоров: Ах, эта романтизация запада. Тут одни грубияны, школьником обзывают, не то что там - задашь вопрос и добрые программисты на розовых пони сразу мчатся рассказать, как написать поисковый движок на php... но вообще-то на стаке вас точно также окрестили бы школьником и ткнули в неразумность вашего подхода https://habrahabr.ru/post/220971/

Написано более трёх лет назад

Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации

Похожие вопросы

JavaScript

+1 ещё

Средний
Как сделать программную навигацию без изменения url в vue-router + vue3?
- 1 подписчик
- 10 часов назад
- 25 просмотров
0

ответов
JavaScript

+1 ещё

Простой
Three.js объект сзади не виден при повороте к нему лицом?
- 2 подписчика
- 14 часов назад
- 194 просмотра
1

ответ
PHP

+1 ещё

Средний
Как получить телефон из Google OAuth 2.0 API?
- 1 подписчик
- 15 часов назад
- 41 просмотр
1

ответ
PHP

+1 ещё

Средний
Как запускать PHP в терминале Netbeans?
- 2 подписчика
- 15 часов назад
- 141 просмотр
0

ответов
PHP

+1 ещё

Простой
Где ошибка в коде при создании древа в sql из файла?
- 1 подписчик
- 16 часов назад
- 82 просмотра
0

ответов
JavaScript

+2 ещё

Простой
Как скачать pdf из встроенного просмотрщика на сайте?
- 1 подписчик
- 16 часов назад
- 115 просмотров
1

ответ
JavaScript

+1 ещё

Простой
Как построение маршрута на 2GIS API v2.0?
- 1 подписчик
- 18 часов назад
- 46 просмотров
0

ответов
JavaScript

Средний
Эффект наложения блоков?
- 1 подписчик
- вчера
- 108 просмотров
2

ответа
JavaScript

+2 ещё

Средний
Как изменить содержание блока програмно со свойством contentEditable?
- 1 подписчик
- вчера
- 84 просмотра
0

ответов
JavaScript

+4 ещё

Средний
Как сделать правильное динамическое масштабирование ion-range в зависимости от ширины колонок линии со значениями?
- 1 подписчик
- вчера
- 45 просмотров
0

ответов
Показать ещё Загружается…

JavaScript разработчик

SummerWeb • Ярославль

от 100 000 до 140 000 ₽

JavaScript разработчик

вАйТи

от 5 000 до 25 000 ₽

JavaScript Fullstack

OnClass

от 200 000 до 600 000 ₽

Разработать HLTV HUD для стрима CS 1.6

25 апр. 2024, в 08:02

2500 руб./за проект

Вычислить размер объекта по карте глубин

25 апр. 2024, в 07:37

5000 руб./за проект

Спарсить TON PLACE: скрейпинг фото и текста с анкет по списку URL

25 апр. 2024, в 05:57

3000 руб./за проект

чем не вариант запустить nodejs и к нему обращаться за результатом из РНР?
Виталий Столяров: не вариант, ну я же написал без модулей, сис. вставок, на нативном пхп
Виталий Столяров: Эти ваши варианты с модулями или дополнительным по прекрасно гуглятся и я бы не задавал вопросов
Вадим Егоров: просто такие критерии обычно только вредят
Виталий Столяров: Мне нужен гибкий код, который бы работал на любом сервере и не требовал ничего, кроме AMP сервера
Виталий Столяров: Я не поклонник модулей да и в некоторых случаях их установить нельзя - например, шаред хостинг :)
Вадим Егоров: есть только расширение из PECL, выше ссылка
Виталий Столяров: Гугл прекрасно выдаёт это расширение первой ссылкой, но расширение равно как и модуль (здесь синонимы, но разницу понимаю), я об этом и говорил, они мне не нужны.
Мне действительно интересно, почему на нативном php нельзя хоть как-нибудь косячно отработать JS для получения контента. Мне нужен только текст на странице для индексации сайтов для тех случаев, когда сайт не отображает контент без JS (AJAX лоадер; привет кепу). Собственно, поисковик пишу исключительно для опыта кодинга, поэтому покупать VPS не хочется, свой домашний сервер поставить можно, но работать будет с перебоями - причина личная.
Виталий Столяров: Я не выжимаю из вас ответ. Я надеялся, что кто-то мог слышать о чём-то подобном и вспомнить сейчас. Гуглить я и сам умею :)
Вадим Егоров: выполнять JS код средствами чистого PHP это было бы безумно)) Думаю, единственным вариантом было бы делать replace нужных частей js кода (к переменным добавить $, document/window переопределить) но это было бы небезопасно
Виталий Столяров: о безопасности речь не идёт - код можно исполнять в sandbox'e, это другая тема. А заменить все функции и конструкции replace'ами превратив всё в php-код - легче написать полноценный парсер JS, качество исполнения будет не очень, ведь исполнение JS должно соответствовать стандартам, иначе к чему весь цирк. Это можно попробовать. Но я всё-же склоняюсь к конвертерам/компиляторам с последующим допиливанием. Потому что я не в состоянии написать парсер JS с нуля, соблюдающий все стандарты.
Вадим Егоров: вот и ответ на вопрос сводится к тому, что на чистом РНР (с указанными критериями) это будет цирк

Answer 1 · 2017-02-17 23:16:23

ответ прост: никак, никому не нужно писать интерпретатор js на php.
кому нужно, те пользуют либо сторонние средства, либо пыхо-расширение v8js.

Answer 2 · 2017-02-17 19:07:46

Не надо из php пытаться сделать браузер, он не для этого предназначен.
Однако для того чтобы индексировать сайты, рендерить их вообще не надо(зачем?).
Ваша задача получить контент(текст).
Для большинства сайтов достаточно этого.

А если нужно прям всё-всё поддерживать нужен "нормальный" браузер.

Вот свежая наработка от ларавела для тестирования
https://github.com/laravel/dusk

В комплект входят бинарники headless браузера, можно взять такое решение за основу, на большинстве систем должно заводиться из "коробки".

Answer 3 · 2017-02-17 20:05:08

Ну так сделай шаблоны на PHP для сервера и на JS для клиента и будет тебе счастье. Подучишься или подкопишь средств на полноценный сервер и тогда соеденишь их вместе.
Если честно ваш вопрос похож на вопрос школьника, который либо не знает как, либо у него нет денег на VPS/VDS сервер. Других предпосылок искать костыли для создания костылей я не вижу.

Как парсить AJAX сайты в нативном PHP без расширений?

Войдите, чтобы написать ответ

Минуточку внимания

Войдите на сайт