Чем бесплатные движки (PhpBB) хуже платных?

Разница в том, что при использовании коммерческих продуктов вы верите в поддержку разработчиков, а при использовании opensource - в самостоятельную поддержку, своими силами, или в поддержку какой-то сторонней компании, которая специализируется на коммерческих услугах пользователям opensource. Это - фундаментальная разница.
При этом, в общем случае, нет оснований считать, что коммерческая поддержка автоматически означает качество - криворукие программисты и админы есть и на зарплате у крупных фирм.
Остальное вообще никак прямо не связано с тем, является ли продукт коммерческим.

Наверное уже давно сгладилась разница и сейчас нет простого ответа - что вот этот движок хуже, а этот лучше. Они все примерно одинаковые по функциональности, по возможностям и т.п.
Скорее есть разница по качеству кода и степени поддержки со стороны разработчиков. Это вам уже поотвечали тут, я лишь уточню.
Коммерческие движки предполагают, что купив у них продукт, вы получите некий канал связи напрямую с разработчиками. Тем самым при возникновении трудностей можно с ними проконсультироваться или запросить помощь. По факту все не так радужно, зачастую поддержка продукта хромает, даже если вы заплатили деньги. А решение нестандартных задач все равно выполняется за деньги. Про качество кода и документацию - все также не очень радужно.
Open-source (мне не нравится слово бесплатное, это не так же) - это движки с открытым кодом, который можно скачать обычно бесплатно и без каких-то ограничений использовать для реализации своего проекта. Зачастую качество код и документация в таких проектах получше, чем в коммерческих, чисто за счет того, что это open-source. То есть всегда найдутся люди, которые найдут косяки и костыли, исправят их, опишут и т.п. Справедливо для больших и известных проектов. Но с поддержкой сложнее - найти ее можно только у сторонних организаций, либо на форумах и интернете. Тут уж как повезет с качеством. И спихнуть проблему на техподдержку зачастую тоже не удастся - надо быть к этому готовым.

Документация и поддержка. У платных, как правило, на голову лучше.
Более того, есть даже такая система получения денег:

1. Делаешь продукт.
   
2. Всем даешь использовать его нахаляву.
   
3. Но все пожелания, весь инструктаж, решение любых проблем и т.п. - только за денежки.
   
   

И одни, и другие - все сейчас пишут абы как.
Если вам нужен ХОРОШИЙ форум - нужно конкретное ТЗ.
Затем - 3 варианта:
1. Пишите сами (своими руками)
2. Заказываете с "нуля" по ТЗ (ТЗ - тоже платно!).
3. Берёте open-source, и ПЕРЕЛОПАЧИВАЕТЕ его так, чтобы устранить все недочёты и подогнать его под ваше ТЗ (вначале: понимаете архитектуру, API и прочее...). Недостающее - придётся дописать.

И производите обязательное тестирование на работу и безопасность в любом из случаев.

Я бы выбрал (в порядке приоритета): 1, 3, 2.