@Pantene742

Подходит ли PHP для парсинга сайтов, достаточно ли его возможностей чтоб удовлетворить большинство заказчиков на фрилансе?

- Возможно ли парсить на php с авторизацией и куками ?

- Динамические страницы(сайты) вроде как можно парсить просто запросами к Rest API. я правильно понимаю ? использовать selenium для этого считаю неплохим но костылем.

- Я понимаю что Python с паралелизмом и библиотекой Pandas просто единственный адекватный инструмент для анализа большого количества отпарсенных данных. НО ВОПРОС СЛЕДУЮЩИЙ--- -> Какие заказы чаще встречаються на фрилансе ? Для большинства необходимо мощности Python, или хватит PHP.
  • Вопрос задан
  • 2098 просмотров
Решения вопроса 4
  • T_y_l_e_r
    @T_y_l_e_r
    Еще как подходит
    Так же поддерживает многопоточность в CUrl
    Кукисы и все прочее
    Запускать нужно как консольное приложение
    Из инструментов есть всякие эмуляторы браузеров
    А либа dom поможет распарсить по дум элементам
    А screen в линукс позволит запустить несколько парсеров
    В общем изучайте
    База городов вк выкачалась за неделю в 100 потоков и проверкой на ошиби при скачивании
    аптайм не 100% оказался
    Ответ написан
  • Sanasol
    @Sanasol
    нельзя просто так взять и загуглить ошибку
    Какие заказы чаще встречаються на фрилансе ?

    Если заказчику нужно что-то спарсить без дальнейшего использования парсера - ему вообще пофиг хоть руками собирай.

    Если он будет это потом использовать - то проще php т.к. работает повсеместно в два клика, а хостинг для python еще надо поискать либо настроить vps.
    Ответ написан
  • hOtRush
    @hOtRush
    Из личного опыта парсинга скажу что пхп обычно хватает, но если важна скорость и меньшая ресурсоемкость - лучше использовать какой-нибудь golang или python. Ну а с nodejs можно вообще разориться на железе
    Ответ написан
Пригласить эксперта
Ответы на вопрос 4
  • @malbaron
    Любой универсально-развитый язык подходит.
    Но для некоторых есть готовые крайне удобные библиотеки. Например, Scrapy для Python.
    Наверное есть что то подобное и для PHP.

    Для всех нет.
    Сейчас много сайтов с Javascript, на голом PHP их не распразнить.
    Нужно эмулировать браузер в чем то типа PhantomJS или т.п.
    А эти штуки как правило управляются из языка JS.
    Ответ написан
  • saboteur_kiev
    @saboteur_kiev
    build engineer
    php и perl обычно более чем достаточно.
    python полезен, если вы не знаете ни php ни perl, но знаете python.

    И вообще, для парсинга достаточно любого языка, на котором вы можете написать парсер.

    А для серьезных скоростей нужно не парсить а API.
    Ответ написан
  • Подходит ли PHP для парсинга сайтов
    Да.
    достаточно ли его возможностей чтоб удовлетворить большинство заказчиков
    Не всегда.
    использовать selenium для этого считаю неплохим но костылем
    А есть варианты как без костылей JS исполнять?
    Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через TM ID
Похожие вопросы
Вакансии с Моего Круга Все вакансии
Заказы с Фрилансим Все заказы