Существует ли легковесный аналог rq, но использующий не Redis?
Есть необходимость регулярно забивать большую очередь. Redis хранит информацию в оперативной памяти. Иногда ее может не хватать. Иногда может возникнуть необходимость перезагрузить компьютер до окончания выполнения всех задач в очереди. (Не знаю, умеет ли Redis сохранять базу между запусками.) Хотелось бы иметь что-нибудь легковесное, как rq, но нечувствительное к объему оперативной памяти.
Разобрался с celery. Она умеет в MongoDB хранить очередь. Хотя в документации написано, что монго не самый лучший вариант для бэкэнда в celery, мне он подошел, и проблем замечено не было. Тем более, я обычно монго и использую как основное хранилище.
Пишите в текстовые файлы, в режиме append .
Ротируйте их каждые N секунд/минут, сколько вам надо. Отротированные файлы разгребает воркер, а все новые входящие - идут в текущий файл.
Очень просто и тупо =)
