Что начать изучать, чтобы написать бот для управления linux приложением?

1. Научиться правильно задавать вопросы (это к следующему пункту): Как правильно задавать вопросы.
   
2. Искать информацию и знания в сети (вот тут важно уметь правильно и точно формулировать вопрос)
   
3. Изучить разработку ПО
   
4. Изучить мануал к программе
   
5. Написать бота
   
   

Простейший вариант - бот может быть просто скриптом оболочки, Python или JS скриптом.

Ищите по запросу "how to game bots". на Хабре поищите по запросу "пишем бота игры"
Игровые боты наверное одна из самых сложных отраслей автоматизации, поэтому если освоить это, то можно будет автоматизировать любое приложение.

Вот вам парочку полезных статей для начала:
https://habr.com/post/339596/ История взлома всех игр в Telegram
https://habr.com/company/yandex/blog/336476/ Десктопные GUI-тесты на Python. Лекция в Яндексе