@pozhigun

Парсинг сайта Java?

Здравствуйте, возник вопрос по парсингу сайта.
Надо запарсить сайт по разным ссылкам использую Jsoup так же с добавлением HTMLunit.
Парсится от 2 до 10 ссылок потом просто перестаёт работать. Таймер ставил уже на 5 минут на одну ссылку, ничего не помогает.
Может есть другие предложения как можно парсить сайт через Java.
Код:
public static void main(String[] args) throws Exception {
        FileInputStream fis = new FileInputStream("D:\\car.txt");
        BufferedReader reader = new BufferedReader(new InputStreamReader(fis));
        String strLine;
        while ((strLine = reader.readLine()) != null) {
            String test = "";
            Document document;

            document = Jsoup.connect(strLine).get();
            Elements elements = document.getElementsByClass("...");
            test = elements.text();
            System.out.println(test);
            System.out.println("Готово!");
            Thread.sleep(50000);
        }
  • Вопрос задан
  • 112 просмотров
Решения вопроса 1
sergey-gornostaev
@sergey-gornostaev Куратор тега Java
Седой и строгий
Ответ написан
Комментировать
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы