Для себя пришел к выводу использовать RabbitMQ в виде кластера для постановки задач, и простому парсеру на Golang/Ruby/Python, который взаимодействует с кроликом, и зависит только от локального инстанса кролика. Результат парсер может записывать уже в БД.
В таком виде есть возможность масштабирования (добавляем ноду кролика, запускаем парсер и все), есть устойчивость (это забота кролика; парсер, если не может обработать задание, просто не отсылает Ack), простой деплой.
Прототип на Golang можно посмотреть
здесь 
