Как брать/использовать данные с чужого сайта на своём?
Есть сайт с каталогом (товары по разделам, детали о товаре...). Мне нужно добавить этот каталог на свой сайт. Доступа к БД с товарами нет. Интересуют лучшие решения этой проблемы. Что использовать js или php?
Парсинг данных, регулярный или разовый, в бд вашего сайта. Подойдет php или python, с js не сталкивался.
Надеюсь Вы с владельцем сайта уже договорились и он не против -) Может у него есть апи для этого дела или xml?
driver458: ваш сайт тут не причем, это как правило скрипт в одном файле, запускаете через ssh или браузер, или крон, если нужно регулярно обновлять, и он не привязан к коду сайта, только с базой сайта взаимодействует
Я б сначала спарсил через программки рода Netpeak Spider все страницы сайта, выудил из них необходимые урлы, которые относятся к каталогу, засунул бы все урлы в массив и каждый из урлов/ключей перебирал бы в цикле, из которого тащил нужную шаблонную инфу, а на выходе ее хоть прямиков в БД писать, хоть в csv для последующего импорта. Знаю нормально только пхп, поэтому, мой выбор тут будет очевиден :)
1) Проверить на наличие cors
если нету - Все просто, смотрим нетворк по запросу на страницу. Подставляем наши параметры для получения ответа от сервера.
если есть - идем к пункту 2
2) Парсим прямо с html, удобно для этого юзать selenium или protractor, по сути имулируем юзера.
косвено сталкивался с парсингом через селениум, давали тестовое пару лет назад, просто читал документацию и методом тыка парсил. По поводу 1 пункта, нужно больше информации по сайту, а иммено какой тип обмена данными с клиентской частью. Я пример rest-api описал, он сейчас эталонный но сайт может быть и старый.
Простой