Стоит ли использовать XMPP?

Ну тут есть 2 варианта:
1. Использовать
2. Не использовать.

+ за 1:
1. Можно подключаться стандартными клиентами. Правда если будете расширять протокол своими командами, то другие клиенты могут не понимать их.
2. Протокол готов, продуман, умные люди подумали за вас.
3. Готовый сервер (ejabberd в частности).

- за 1:
1. Много, возможно, не нужных наворотов.
2. XML
3. Из п2. - очень многословный и трафико-кушаемый.

+ за 2:
1. Я сам себе хозяин протокола, что хочу то и ворочу
2. Сторонние клиенты не подключатся (если не реверснут ваш протокол).

- за 2:
1. Я сам себе хозяин протокола, надо еще и сервер разрабатывать
2. Сторонние клиенты не подключатся (если не реверснут ваш протокол).

Список не исчерпывающий, подумайте сами что для вас важно.

Всё зависит о того, какой функционал требуется от месенджера и какие требования от заказчика, где и в каком окружении должен работать мессенджер.

Но "с нуля" воротить серьёзный проект - поверьте, очень сложно. Возьмите готовое решение и доработайте "под себя". Меньше времени и усилий потратите.