Ринат Бакиев: Первые две может (и должен, имхо) контролировать автомат (менеджер задач), а может и третью тоже. То-ли грабит - если не получается написать какие-то автоматические тесты придется просматривать результаты (возможно выборочно). А зачем для этого какой-то спец софт?
И вот что-то подобное, судя по описанию - The Crawler dashboard view shows you a much more in depth view of your current Scrapy Crawlers. Here you see breakdowns of response codes, machine load balances, and successful outbound Kafka messages. scrapy-cluster.readthedocs.io/en/latest/topics/adv...
