Сделал инструмент на Ruby для парсинга произвольного количества источников используя формат JSON + немного псевдо-DSL - обертку над DOM-парсером (css/xpath селекторы + фильтры). В качестве бонуса - веб-админ, более-менее простое масштабирование, кое-какой Планировщик. Все очень сыро, но, надеюсь, будет активно разрабатываться. В какой-то мере, реально используется уже сейчас.
Надо понимать, что парсер - должен оставаться парсером. А вашу бизнес-логику (что куда добавить, когда что сохранить\кешировать в базу, когда что вывести) - должно решаться на уровне приложения
Судя по Вашему вопросу, Вам для реализации описанного нужен будет квалифицированный исполнитель. Но, авось, пригодится:
https://github.com/victorvsk/apify-kit 
