@FBR

Какие есть способы «легального» парсинга сайта с помощью Jsoup?

Ребята, всем привет!
Недавно начал использовать Jsoup для парсинга сайтов.
Возник такой вопрос...
Сейчас я просто тестирую приложение, грубо говоря, на одном подключении и выдергивании ссылок со страницы сайта.
Но дальше мне необходимо "прыгать" по каждой ссылке и проводить какие-то манипуляции, т.е. каждый раз создавать коннект. И боюсь, что при таком количестве коннектов, сайт может попросту "забанить" мой айпишник (да что бояться, такое уже разок было:D).

Вопрос таков - что необходимо предпринять, что бы меня не забанили???
1. Кто-то из коллег упоминал о использовании прокси при коннекте. И действительно, покопавшись в инете, нашел способ прикрутить прокси к коннекту.
2. А второй коллега что-то говорил о использовании сессионных ключей или куков при коннекте, точно вот не помню.
Т.к. с первым способом все понятно, то хотелось бы узнать больше информации о втором способе, если, конечно, это дает ответ на мой вопрос. И конечно же, если кто знает, какие еще способы, что бы "легально" общаться с сайтом и посылать ему большое количество запросов с использованием Jsoup, т.с. что бы он не думал что я плохая программа:)
Надеюсь выразился правильно. Спасибо!

P.S. Да, апишка на данном сайте есть, но меня интересует работа с Jsoup.
  • Вопрос задан
  • 163 просмотра
Пригласить эксперта
Ответы на вопрос 1
IceJOKER
@IceJOKER
Web/Android developer
"посылать ему большое количество запросов" - ни один сайт не будет рад такому, это предельно логично, поэтому есть такие варианты:
1. Парсите , когда на сайте меньше всего трафика(ночью и т.д., все зависит от сайта)
2. Спите иногда, т.е. не долбите сайт запросами, а выдергиваете данные кусочками
3. Используйте прокси, но соблюдайте пункты 1 и 2
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через TM ID
Похожие вопросы
Sidenis Томск
До 170 000 руб.
ИнЭкс Москва
от 70 000 до 150 000 руб.
CTI Москва
от 100 000 до 130 000 руб.
17 дек. 2018, в 01:36
700 руб./в час
16 дек. 2018, в 22:06
700 руб./в час
16 дек. 2018, в 21:48
1000 руб./за проект