@kator

Какие подводные камни в работе парсера торрент-трекеров?

Есть парсер популярных (и не очень) торрент трекеров. Изначально создавался для себя, как способ потренироваться в Node.js, но появилось желание поделиться. В связи с этим возникли некоторые взаимосвязанные вопросы:

  1. При 1 запросе клиента Node делает до 20 запросов на разные трекеры (что-то вроде async.parallel(parseFunctions)) , а может и больше, так как со временем добавляются новые трекеры. И если в случае одного запроса ничего плохого не случается, то как нода отреагирует на 5-10-20 одновременных запросов?

  2. В сторону какого хостинга смотреть в случае такой возможной нагрузки?

  3. Есть вероятность встречи блокировки? На моей памяти был аналогичный проект, потом его на некоторе время блокировали, он поменял домен на .me и сейчас вроде как работает, но очень криво. Что влияет на возможность банхаммера? Повторюсь, сайт ничего не хранит и не является трекером.
  • Вопрос задан
  • 121 просмотр
Пригласить эксперта
Ответы на вопрос 2
hzzzzl
@hzzzzl
1 - ноде пофиг вообще, всё будет выполняться не "одновременно", а по очереди все равно (node.js event loop), просто чуть больше придется ждать результата если 1000 запросов, а не 10;
"5-10-20 одновременных запросов" это вообще ничто

3 - есть конечно вероятность ^_^
Ответ написан
skobkin
@skobkin
Гентушник, разработчик на PHP и Symfony.
Ответ несколько не по вашему вопросу, но если задача стоит в индексации содержимого торрентов, то возможно эффективнее будет индексировать DHT как делают, например, magnetico и прочие проекты (есть и на node.js).
Правда, если задача именно в парсинке описаний к раздачам - тогда да, трекеры нужны. Но это кучу проблем создаёт.
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы
Zeus Capital Москва
от 70 000 до 130 000 руб.
IWU Нижний Новгород
от 150 000 до 250 000 руб.
20 авг. 2019, в 22:39
6000 руб./за проект
20 авг. 2019, в 21:44
5000 руб./за проект