Задать вопрос
@jamster
php

Парсинг базы более миллиона позиций, как сделать?

Собственно, есть сайт с базой более миллиона позиций, необходимо перенести на новый сайт, как лучше всего сделать?
  • Вопрос задан
  • 311 просмотров
Комментировать
Подписаться 3 Простой Комментировать
Пригласить эксперта
Ответы на вопрос 4
Terras
@Terras
Если у них нет защиты от парснига, то пишите обычный парсер, который перебирает все позиции. Обязательно соблюдайте тайм-ауты, обязательно отдавайте адекватные user-agent, обязательно обрабатывайте исключения. Если есть какая-то защита, то уже надо изголяться со всякими библиотеками распознавания капчи, эмулятор действий и прочее.
Ответ написан
Комментировать
Комментировать
hrebet
@hrebet
В каком формате находятся такие позиции? Это как-то связано с базой данных? Используйте её механизмы для переноса.
Ответ написан
2 комментария
2 комментария
git507
@git507
AftParser(бесплатный) или Datacol(платный).
Ответ написан
2 комментария
2 комментария
butteff
@butteff
Раз в тысячу лет заправляю свитер в носки
php simple html dom parser
Ответ написан
Комментировать
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы
Вакансии с Хабр Карьеры
PHP Developer
YCLIENTS • Москва
от 200 000 до 350 000 ₽
PHP разработчик
Ведисофт • Екатеринбург
от 25 000 ₽
Midlle PHP developer (backend)
ИТЦ Аусферр • Магнитогорск
от 100 000 до 160 000 ₽
Ещё вакансии
Заказы с Хабр Фриланса
Написать индикатор на TradingView по хаям/лоям дня недели
25 апр. 2024, в 08:45
4000 руб./за проект
Вычислить размер объекта по карте глубин
25 апр. 2024, в 07:37
5000 руб./за проект
Спарсить TON PLACE: скрейпинг фото и текста с анкет по списку URL
25 апр. 2024, в 05:57
3000 руб./за проект
Ещё заказы