Есть ли готовые скрипты защиты от парсеров для nginx?

Приветствую.

Есть нагруженный сайт. В последнее время появились конкуренты, которые его парсят и сразу выкладывают инфу.
Они легко палятся по ptr записи парсера. Есть ли для nginx готовый скрипт, который анализирует лог, находит похожих на боты клиентов, проверяет ptr и вносит в блок?

Я, конечно, и сам могу написать, но подозреваю, что это уже делали. Гугл ничего толкового не подсказал.
  • Вопрос задан
  • 2291 просмотр
Пригласить эксперта
Ответы на вопрос 8
@FanatPHP
И тут Грегор понял, что произошло. Эти существа не могли тушить лампы: галлюцинация не в силах воздействовать на неодушевленные предметы. Он вообразил, что в комнате становится темнее и… Он сам расстрелял свои лампы! Подсознание опять его надуло. Теперь Теневик смело шагнул вперед. Бластер был бессилен.
Роберт Шекли, "Призрак-5"


Прекрасный план, я считаю.
Конкуренты за 5 минут поправят ботов, чтобы они не ловились, а вот честным посетителям и поисковикам тупой бот сильно осложнит жизнь. В итоге сайт загнется, а конкуренты будут процветать.
Ответ написан
si1n3rd
@si1n3rd
Как человек имеющий опыт в написании разного рода парсеров, скажу вам одно. Любую подобную блокировку или какую-либо другую можно обойти. Это лишь вопрос времени. Цитирую здесь FanatPHP

А в чем смысл-то?

Суть моего ответа в том, что действовать надо не техническими методами.
Сами по себе данные ничего не стоят - важно то, какой сервис предоставляется на их основе
поэтому надо так развивать свой сайт, чтобы конкуренты не могли предоставить сервис такого же уровня.
Ответ написан
xmoonlight
@xmoonlight
https://sitecoder.blogspot.com
1. Сделайте простую защиту от парсинга и максимально "отшлифуйте" SEO на всём сайте.
2. После создания публикации, сразу отправляйте пинг на поисковые системы.
3. Новые статьи открывайте на паблик через 10 минут после пинга (именно для обычных браузеров! Для поисковых систем - открываем сразу!).
4. Для постоянных пользователей сообщества (исключая недавно зарегистрированных!) - открывайте сразу же после добавления публикации.

Пинг-лист
http://blogsearch.google.com/ping/RPC2
http://bblog.com/ping.php
http://bitacoras.net/ping
http://blog.goo.ne.jp/XMLRPC
http://blogdb.jp/xmlrpc
http://blogmatcher.com/u.php
http://bulkfeeds.net/rpc
http://coreblog.org/ping/
http://mod-pubsub.org/kn_apps/blogchatt
http://www.lasermemory.com/lsrpc/
http://ping.blo.gs/
http://ping.bloggers.jp/rpc/
http://ping.feedburner.com
http://ping.rootblog.com/rpc.php
http://pingoat.com/goat/RPC2
http://rpc.blogbuzzmachine.com/RPC2
http://rpc.blogrolling.com/pinger/
http://rpc.pingomatic.com
http://rpc.weblogs.com/RPC2
http://topicexchange.com/RPC2
http://trackback.bakeinu.jp/bakeping.php
http://www.bitacoles.net/ping.php
http://www.blogoole.com/ping/
http://www.blogpeople.net/servlet/weblogUpdates
http://www.blogshares.com/rpc.php
http://www.blogsnow.com/ping
http://www.blogstreet.com/xrbin/xmlrpc.cgi
http://www.mod-pubsub.org/kn_apps/blogchatter/ping.php
http://www.newsisfree.com/RPCCloud
http://www.newsisfree.com/xmlrpctest.php
http://www.snipsnap.org/RPC2
http://www.weblogues.com/RPC/
http://xmlrpc.blogg.de
http://1470.net/api/ping
http://api.feedster.com/ping
http://api.moreover.com/ping
http://api.moreover.com/RPC2
http://api.my.yahoo.com/RPC2
http://api.my.yahoo.com/rss/ping
http://blo.gs/ping.php
http://blogs.yandex.ru/
http://geourl.org/ping
http://ipings.com
http://ping.amagle.com/
http://ping.bitacoras.com
http://ping.blogmura.jp/rpc/
http://ping.blogs.yandex.ru/RPC2
http://ping.cocolog-nifty.com/xmlrpc
http://ping.exblog.jp/xmlrpc
http://ping.fc2.com/
http://ping.myblog.jp
http://ping.rss.drecom.jp/
http://ping.syndic8.com/xmlrpc.php
http://ping.weblogalot.com/rpc.php
http://ping.weblogs.se/
http://rcs.datashed.net/RPC2/
http://rpc.bloggerei.de/
http://rpc.bloggerei.de/ping/
http://rpc.copygator.com/ping/
http://rpc.icerocket.com:10080/
http://rpc.newsgator.com/
http://rpc.odiogo.com/ping/
http://rpc.technorati.com/rpc/ping
http://rpc.twingly.com
http://www.a2b.cc/setloc/bp.a2b
http://www.blogdigger.com/RPC2
http://www.blogoon.net/ping/
http://www.blogroots.com/tb_populi.blog?id=1
http://www.feedsubmitter.com
http://www.pingerati.net
http://www.pingmyblog.com
http://www.popdex.com/addsite.php
http://www.weblogalot.com/ping
http://xping.pubsub.com/ping
http://pingomatic.com
http://pingler.com
http://indexkings.com
http://totalping.com
http://pingfarm.com
http://pingmyurl.com
http://addurl.nu/
http://googleping.com
http://pingsitemap.com
http://pingbomb.com
http://mypagerank.net
http://twingly.com/ping
http://ping.in
http://coreblog.org/ping
http://feedshark.brainbliss.com
http://pingoat.net
http://backlinkping.com
http://nimtools.com/online-ping-website-tool
http://blogbuzzer.com
http://weblogs.com
http://pingmyblog.com
http://bulkping.com
http://auto-ping.com
http://rpc.weblogs.com
http://autopinger.com
http://icerocket.com
http://blogsnow.com/ping
http://weblogalot.com/ping
http://feedsubmitter.com
http://pingerati.net
http://pingmylink.com
http://syncr.com
http://blogpingtool.com
http://blogmatcher.com
http://pinggator.com
http://pingates.com
Ответ написан
un1t
@un1t
Люди просто не заморачиваются, раз просто со своих айпишников парсят. Tor настраивается за 5 минут. Сотню прокси купить тоже не проблема. Нет никакой надежной защиты от парсеров. Как только вы их заблочите по IP, они быстро это поймут и адаптируются.
Ответ написан
Интересная тема, открыл гугл, вот что нашел, может поможет:
https://moonback.ru/page/nginx-hotlink-protection
https://moonback.ru/page/site-protection

Тут люди советуют анализатор логов юзать (fail2ban) - но ИМХО это бред!
Ответ написан
idmrty
@idmrty
Если, как вы пишете, боты палятся по pointer-записи, то используйте https://flant.ru/projects/nginx-http-rdns
Ответ написан
@ffosters
Nginx Bad Bot and User-Agent Blocker, Spam Referrer Blocker, Anti DDOS, Bad IP Blocker and Wordpress Theme Detector Blocker:
https://github.com/mitchellkrogza/nginx-ultimate-b...

Так же можно использовать Fail2ban
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы