Подходит ли PHP для парсинга сайтов, достаточно ли его возможностей чтоб удовлетворить большинство заказчиков на фрилансе?

- Возможно ли парсить на php с авторизацией и куками ?

- Динамические страницы(сайты) вроде как можно парсить просто запросами к Rest API. я правильно понимаю ? использовать selenium для этого считаю неплохим но костылем.

- Я понимаю что Python с паралелизмом и библиотекой Pandas просто единственный адекватный инструмент для анализа большого количества отпарсенных данных. НО ВОПРОС СЛЕДУЮЩИЙ--- -> Какие заказы чаще встречаються на фрилансе ? Для большинства необходимо мощности Python, или хватит PHP.
  • Вопрос задан
  • 3677 просмотров
Решения вопроса 3
T_y_l_e_r
@T_y_l_e_r
Еще как подходит
Так же поддерживает многопоточность в CUrl
Кукисы и все прочее
Запускать нужно как консольное приложение
Из инструментов есть всякие эмуляторы браузеров
А либа dom поможет распарсить по дум элементам
А screen в линукс позволит запустить несколько парсеров
В общем изучайте
База городов вк выкачалась за неделю в 100 потоков и проверкой на ошиби при скачивании
аптайм не 100% оказался
Ответ написан
Sanasol
@Sanasol Куратор тега PHP
нельзя просто так взять и загуглить ошибку
Какие заказы чаще встречаються на фрилансе ?

Если заказчику нужно что-то спарсить без дальнейшего использования парсера - ему вообще пофиг хоть руками собирай.

Если он будет это потом использовать - то проще php т.к. работает повсеместно в два клика, а хостинг для python еще надо поискать либо настроить vps.
Ответ написан
hOtRush
@hOtRush
Из личного опыта парсинга скажу что пхп обычно хватает, но если важна скорость и меньшая ресурсоемкость - лучше использовать какой-нибудь golang или python. Ну а с nodejs можно вообще разориться на железе
Ответ написан
Пригласить эксперта
Ответы на вопрос 4
@malbaron
Любой универсально-развитый язык подходит.
Но для некоторых есть готовые крайне удобные библиотеки. Например, Scrapy для Python.
Наверное есть что то подобное и для PHP.

Для всех нет.
Сейчас много сайтов с Javascript, на голом PHP их не распразнить.
Нужно эмулировать браузер в чем то типа PhantomJS или т.п.
А эти штуки как правило управляются из языка JS.
Ответ написан
saboteur_kiev
@saboteur_kiev Куратор тега Python
software engineer
php и perl обычно более чем достаточно.
python полезен, если вы не знаете ни php ни perl, но знаете python.

И вообще, для парсинга достаточно любого языка, на котором вы можете написать парсер.

А для серьезных скоростей нужно не парсить а API.
Ответ написан
Jump
@Jump
Системный администратор со стажем.
Подходит ли PHP для парсинга сайтов
Да.
достаточно ли его возможностей чтоб удовлетворить большинство заказчиков
Не всегда.
использовать selenium для этого считаю неплохим но костылем
А есть варианты как без костылей JS исполнять?
Ответ написан
@caballero
Программист
а какая разница?
берешь phpQuery и парсишь в свое удовольствие
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы
28 мар. 2024, в 21:17
5000 руб./за проект
28 мар. 2024, в 20:46
150000 руб./за проект
28 мар. 2024, в 20:37
50000 руб./за проект