Когда в Illustrator ставить плашечные цвета (pantone) в режиме CMYK, а когда просто оставлять CMYK?

В первом приближении, всё просто.
Плашечные цвета используют тогда, когда нужно получить фрагмент изображения точно определенного цвета, без использования смешения, печатью одной краской выбранного цвета.
Случаев для этого - множество: цвета, которые нельзя получить смешением (составным цветом, например - флюоресцентные), тонкие линии (которые могут плохо выглядеть из-за даже слабого несведения красок или из-за растра), светлые цвета с малой насыщенностью (которые также плохо выглядят при печати растром составным цветом из-за получающейся низкой частоты точек). Или клиент имеет фирменный цвет, который задан в Pantone (что не всегда имеет смысл, некоторые с образцами печатных цветов даже в видеостудии прутся).

Это довольно просто в принципе, но запомнить все варианты - много сложнее, чем понять источник проблемы - собственно, процесс печати.

Я довольно долго работаю с иллюстратором, но с pantone столкнулся первый и единственный раз совсем недавно -
в он-лайн типографии, в которой постоянно и много заказываем всего, файл не прошел проверку. Как оказалось, у них как раз к этому виду печати были требования перевести все исключительно в pantone.
Если интересно, вот этот продукт, который заказывали.
В общем, если печатью занимаетесь именно вы, то да, вопрос надо изучить очень серьезно.
Если же отдаете на печать, то типография сама должна сказать, если будут требоваться pantone цвета.