Могут ли взломать сайт через форму отправки сообщений?

Не фильтрованный ввод - это значит потенциальный css, это значит могут получить куки, в т.ч. администратора, если подсунуть ему ссылку с этим css (он должен по ней перейти, но обычно это не сложно, социальная инженерия очень хорошо работает), а дальше, имея пароль администратора обычно можно гораздо больше, и без взлома.

p.s. проверьте, что произойдет, если данные формы отправить в виде GET запроса, а не POST.

Если данные не валидируются, то могут. Однажды, давно-давно, уже и архива нет, у нас так было - была страничка с демкой продукта, висела и висела...

Скорее всего получат права юзера www (ну или под кем там у Вас вебсервер стартует), для системы это не фатально, но неприятно.

Относительно недавно в паблик утёк экспойт, связанный с php-mailer
https://legalhackers.com/advisories/PHPMailer-Expl...

Может пригодится