Стоит ли покупать vBulletin 5?

Брать лицензию имеет смысл в любом случае, потому что открывается доступ на прекрасный ресурс vbulletin.org, где есть куча разных модов, мануалов по работе с движком и т.д.
А вот касательно версии — я бы оставался на 3.8.х (при покупке лицензии на новую версию доступны и все старые) — эта ветка стабильная в плане безопасности, а все рюшечки из 5.х типа интеграции с лицекнигой во-первых не очень нам актуальны, во-вторых могут быть навешаны модами. С учётом того, с какой частотой после смены команды на 4.х начали выходить security fixes, можно сделать вывод, что команда довольно криворукая, а глядя на то, сколько багов правится в 5.х уже сейчас, делается вывод, что ситуация не изменилась. IB угробили, к сожалению, хороший продукт.