Incron в рамках Django: Pynotify + Celery или что-то другое?

Имеется скрипт, работающий в продакшн, написанный на питон, который занимается обработкой файлов. Принцип работы: в хот-фолдер падает файл, incron вызывает событие и запускает скрипт. Файл обрабатывается, и результаты пишутся напрямую в html-файл. Файлы могут быть большие (пол-гектара и более) и падать по нескольку штук одновременно, но в течении дня нагрузка не высокая, 1-2 десятка файлов.

Хочу перевести это дело на Django.

Пока мысль такая - есть библиотека PyNotify (https://github.com/seb-m/pyinotify), она может создавать событие и ставить файл в очередь. Очередь обрабатывается в Celery, очевидно удобство параллельной обработки, если упало сразу несколько файлов.

Или можно обойтись без PyNotify, используя, как и раньше, incron для запуска python-файла, который поставит новый файл в очередь.

Правильно ли я выбрал способ решения задачи, или есть какое-то более изящное/легковесное/просто решение? Не будет ли Celery в данном случае из пушки по воробьям?
  • Вопрос задан
  • 2456 просмотров
Решения вопроса 1
@Swasher Автор вопроса
Отвечаю сам себе - выбор пал на Python-RQ и, соответственно, django-rq как легковесную замену Celery. PyNotify не использовал.
Ответ написан
Комментировать
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы