Как сделать так чтобы письма не только перенаправлялись в спам, но ещё отправителю приходило сообщение, что такого емайл не существует?

Только увеличите нагрузку на свой сервер и кол-во исходящего трафика. Спамеру до лампочки NDR от вашего почтовика.

какой MTA ?

milter
sieve

Только это беспонтовка. Спаморассыльщики не читают сообщения почтовых роботов.

Как уже выше написали, смысла отправлять ответ нет никакого.
Более разумная практика это блокировка на какой-то период приёма сообщений для этих получателя и отправителя после первого спам-письма в случае уверенности, что это действительно спам.
У меня лично в системе реализовано три уровня таких блокировок.