@FBR

Какие есть способы «легального» парсинга сайта с помощью Jsoup?

Ребята, всем привет!
Недавно начал использовать Jsoup для парсинга сайтов.
Возник такой вопрос...
Сейчас я просто тестирую приложение, грубо говоря, на одном подключении и выдергивании ссылок со страницы сайта.
Но дальше мне необходимо "прыгать" по каждой ссылке и проводить какие-то манипуляции, т.е. каждый раз создавать коннект. И боюсь, что при таком количестве коннектов, сайт может попросту "забанить" мой айпишник (да что бояться, такое уже разок было:D).

Вопрос таков - что необходимо предпринять, что бы меня не забанили???
1. Кто-то из коллег упоминал о использовании прокси при коннекте. И действительно, покопавшись в инете, нашел способ прикрутить прокси к коннекту.
2. А второй коллега что-то говорил о использовании сессионных ключей или куков при коннекте, точно вот не помню.
Т.к. с первым способом все понятно, то хотелось бы узнать больше информации о втором способе, если, конечно, это дает ответ на мой вопрос. И конечно же, если кто знает, какие еще способы, что бы "легально" общаться с сайтом и посылать ему большое количество запросов с использованием Jsoup, т.с. что бы он не думал что я плохая программа:)
Надеюсь выразился правильно. Спасибо!

P.S. Да, апишка на данном сайте есть, но меня интересует работа с Jsoup.
  • Вопрос задан
  • 161 просмотр
Пригласить эксперта
Ответы на вопрос 1
IceJOKER
@IceJOKER
Web/Android developer
"посылать ему большое количество запросов" - ни один сайт не будет рад такому, это предельно логично, поэтому есть такие варианты:
1. Парсите , когда на сайте меньше всего трафика(ночью и т.д., все зависит от сайта)
2. Спите иногда, т.е. не долбите сайт запросами, а выдергиваете данные кусочками
3. Используйте прокси, но соблюдайте пункты 1 и 2
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через TM ID
Похожие вопросы