@kator

Какие подводные камни в работе парсера торрент-трекеров?

Есть парсер популярных (и не очень) торрент трекеров. Изначально создавался для себя, как способ потренироваться в Node.js, но появилось желание поделиться. В связи с этим возникли некоторые взаимосвязанные вопросы:

  1. При 1 запросе клиента Node делает до 20 запросов на разные трекеры (что-то вроде async.parallel(parseFunctions)) , а может и больше, так как со временем добавляются новые трекеры. И если в случае одного запроса ничего плохого не случается, то как нода отреагирует на 5-10-20 одновременных запросов?

  2. В сторону какого хостинга смотреть в случае такой возможной нагрузки?

  3. Есть вероятность встречи блокировки? На моей памяти был аналогичный проект, потом его на некоторе время блокировали, он поменял домен на .me и сейчас вроде как работает, но очень криво. Что влияет на возможность банхаммера? Повторюсь, сайт ничего не хранит и не является трекером.
  • Вопрос задан
  • 131 просмотр
Пригласить эксперта
Ответы на вопрос 2
hzzzzl
@hzzzzl
1 - ноде пофиг вообще, всё будет выполняться не "одновременно", а по очереди все равно (node.js event loop), просто чуть больше придется ждать результата если 1000 запросов, а не 10;
"5-10-20 одновременных запросов" это вообще ничто

3 - есть конечно вероятность ^_^
Ответ написан
skobkin
@skobkin
Гентушник, разработчик на PHP и Symfony.
Ответ несколько не по вашему вопросу, но если задача стоит в индексации содержимого торрентов, то возможно эффективнее будет индексировать DHT как делают, например, magnetico и прочие проекты (есть и на node.js).
Правда, если задача именно в парсинке описаний к раздачам - тогда да, трекеры нужны. Но это кучу проблем создаёт.
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы