Как распараллелить процесс?

придумал себе задачку: есть файл со 100+К ссылок, который периодически обновляются, нужно отправить по каждой запрос, получить ответ и как то обработать: распарсить. Для наискорейшего решения такой проблемы нагуглил пул потоков, может существует более красивый способ решения подобной задачи?
  • Вопрос задан
  • 584 просмотра
Пригласить эксперта
Ответы на вопрос 3
@BorisKorobkov
Web developer
есть файл со 100+К ссылок, который периодически обновляются

Используйте очередь. Например, https://ru.wikipedia.org/wiki/RabbitMQ

нужно отправить по каждой запрос, получить ответ и как то обработать: распарсить

Самый эффективный способ - на bash (curl/wget, grep, sed и пр.). Но можно и на любом другом ЯП, в том числе и на Java.
Ответ написан
devalone
@devalone
̻̻̻̻̻̻̻̻̻̻̻̻̻̻̻̻̻̻̻̻̻̻̻̻̻̻̻̻̻̻̻̻̻̻̻̻̻̻̻̻̻̻̻̻̻̻̻̻̻̻
Используй асинхронные запросы, например тот же Go, где это из коробки, или Python с asyncio или любой язык, который знаешь
Ответ написан
Комментировать
@santaatnas
Java, Python, Php
Есть для этих целей Spring Batch (для массовой обработки) и какой-нибудь брокер очередей, можно RabbitMq. Вот пример spring batch integration
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы