metajiji

Django + celery отличный выбор для быстрой разработки подобных вещей. Для обработки изображений можно на C или Go написать тулзы, которые будут запускаться celery и в целом будет неплохой результат.

Питон компилируется, как и рнр :) упакуйте все в бинарь.

Боюсь, что все, что вы хотите уже написано за вас, используйте DevOps тулзы для автоматизации, например ansible, soltstack и т.п., если что-то простое остановитесь на bash.

with open а внутри ещё и close. Не надо так, менеджер контекста для того и придумали, чтобы руками не закрывать за собой файлы:)
Вместо опасного while true, сделайте безопасный for. И байты внесите в память, если объемы файлов позволяют.

Образ собрали и да и нет. Во первых для облегчения объема используйте python:3-alpine, во вторых сделайте через использование промежуточного образа, а именно 2 раза FROM, в первом будет сборка venv, во втором копирование venv и вашего скрипта. ENTRYPOINT можно не менять и писать имя вашей программы, ее можно закинуть в PATH, например в /usr/local/bin, но это не обязательно.

А вот что обязательно, так это сохранение данных, которые генерит ваша программа внутри контейнера на диск хоста, а не контейнера, это делается через volume, как написали выше.

Например, docker run --rm ti -v $(pwd)/data:/data avito_parser_cli "трактор мтз" -t -m 300000 -s 'date' -a

Ожидается, что программа внутри контейнера сохранит данные в папку /data, а на хосте они будут в $(pwd)/data

Для rsa ключей конечно же pem. Если речь о вебе, то и пароль не плохо, если он не передается по тому же каналу связи, по которому ходят данные. А принципе это касается и ключа.