Какие темы матана нужно знать для криптографии?

Это трудно назвать матаном. А так основные темы крутятся вокруг
1) Дискретной математики
2) Логики (булева алгебра) потому-что в осн овном операции идут через or, xor, and, nand и тому подобные. Лучше всего ознакомиться с этой темой в области цифровой электроники (схем)
- Школьных знаний достаточно на уровне +-*/%

высшая алгебра. теория чисел (высшая арифметика)