Как на JAVA парсить onion сайты?

Привет.
Пытаюсь написать парсер сайтов в зоне .onion

import java.io.BufferedReader;
import java.io.InputStreamReader;
import java.net.HttpURLConnection;
import java.net.InetSocketAddress;
import java.net.Proxy;
import java.net.URL;

public class main {
	public static void main(String args[]) {
		
		
		String query = "https://toster.ru";
		HttpURLConnection connection = null;
		try {
			connection = (HttpURLConnection) new URL(query).openConnection();
			connection.setRequestMethod("GET");
			connection.setUseCaches(false);
			//connection.setConnectTimeout(250);
			//connection.setReadTimeout(250);
			connection.connect();
			
			StringBuilder sb = new StringBuilder();
			
			if(HttpURLConnection.HTTP_OK == connection.getResponseCode()) {
				BufferedReader in = new BufferedReader(new InputStreamReader(connection.getInputStream()));
				
				String line;
				while((line=in.readLine()) != null) {
					sb.append(line);
					sb.append("\r");
				}
				
				System.out.println(sb.toString());
			}else {
				System.out.println("Ошибка: "+connection.getResponseCode() + ", "+ connection.getResponseMessage());
			}
		}catch(Throwable cause) {
			cause.printStackTrace();
		} finally{
			if(connection != null) {
				connection.disconnect();
			}
		}
	}

}


Вот что у меня получилось - этот код спокойно парсит сайты в открытой сети интернет. Но домены в зоне onion отказывается видеть.

Как подключить его к сети Tor?
Можно ли сделать это без использования браузера?
  • Вопрос задан
  • 6117 просмотров
Пригласить эксперта
Ответы на вопрос 1
@spaceatmoon
Вот для питона. Сам не пробовал, но понял принцип что вам надо общаться через сокс. Поймете принцип, сделаете и для java

https://jarroba.com/anonymous-scraping-by-tor-network/

Тык
Если не секрет, что вы нашли интересного такого, что приходится парсить? Разве tor не помойка?
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы