Может ли заказчик подать в суд за плохо выполненную работу?

Может ли заказчик подать в суд за плохо выполненную работу?

Для этого ему нужно будет заплатить госпошлину, написать исковое заявление в суд по месту вашего жительства, и быть готовым доказать что услуги были выполнены не качественно.
Ему нужно будет найти на это деньги, время, и самое главное убедительные доказательства некачественно выполненной работы - а это будет сделать непросто в описанной ситуации.

Пообещал написать заявление в полицию за "не качественно выполненные услуги".

Полиция таким не занимается, только суд. Вот если бы вы не выполнили услуги и взяли деньги тогда да, полиция, прокуратура и уголовное дело.
А вот если выполнили - то по качеству это в суд.

Поэтому - подать разумеется может, есть у него такое право.
Но вероятнее всего не подаст, если с головой дружит, ибо это невыгодно.
Вам от этого никаких проблем.

предлагаю троллить этого заказчика так:

скажи ему что ты обратишься в полицию с обвинением что он тебя шантажирует
и что ты записал его угрозы

Может написать на что угодно, хоть на то, что вы у него украли сникерс.
А вот примет суд или нет, а также удовлетворит или нет - решает суд.
ИМХО во вашему делу, думаю врятли. Нет бумажки (договора) в нашей бюракратической стране - значит ты (в данном случае он) - никто

Написать может все, что угодно. Но в полиции посмотрят на него, как на полного дебила и отправят в суд (или же в пешее эротическое путешествие : ) )
А в суде ему нужно будет написать исковое - что не так просто как кажется, потому что должно оно быть написано на особом диалекте канцелярита, именуемом "язык судебный", на котором писать вовсе не просто, если ты сам не юрист, не адвокат, не судья :) То есть ему скорее всего придется нанять кого-то за деньги. Придется заплатить госпошлину в суд. Иск придется подавать по общему правилу - по месту регистрации ответчика.
Естественно, понадобятся деньги и время, чтобы присутствовать на заседаниях суда, где придется доказать, что работа вообще выполнялась (поскольку договора нет), что это была именно работа за деньги, а не просто волонтерская помощь, и т.д.

Для заказчика перспектив никаких.

Написать может, что-то доказать - нет.
С исковым в суд для него есть смысл обращаться только с результатами независимой экспертизы. При этом вы сможете потребовать у суда провести вторую экспертизу.
Если цена вопроса не > 1 млн. руб. то здесь вообще не о чем говорить. 100%.
P.S. Полиция не занимается спорами, вытекающими из гражданско-правовых отношений, а это именно они.