Как работает криптор который из exe может сделать doc или подобные форматы?

Есть две разные задачи.
1. Просто. Пронести программу через систему безопасности при условии, что твой компьютер — «тихая гавань» и можно спокойно декодировать и запустить. Например, чтобы сбить с толку антивирус Gmail.
2. Сложно. Твой компьютер — уже не «тихая гавань», на нём действуют системы безопасности, и требуется их как-то обойти. Или, например, мы распространяем вирус, а в роли системы безопасности — бдительный пользователь.

Первая задача в простейшем случае решается сменой расширения. Можно придумывать и более сложные методы, чтобы антивирус сказал: это действительно DOC.

Чтобы решить вторую задачу, надо в программе (Word, WinRAR и т.д.) найти эксплойт типа «исполнение произвольного кода».