Какой должна быть формула расчёта рейтинга?

А чем вам не понравилась формула в таком виде, в каком она есть? Это формула Байесовской вероятности, которая довольно неплохо работает.
Не очень понял, что значит «среднее арифметическое голосов и их число». Среднее арифметическое это и есть сумма голосов деленная на их число. В этом случае у вас не будет адекватного сравнения моделей с большим количеством и малым.
Например, модель с 2000 голосами, из которых 1999 голосов — «5», и один голос — «2» получит меньше 5 баллов и будет стоять ниже, чем модель за которую проголосовали всего один раз и поставили «пятерку». Формула Байесовой вероятности как раз нужна, чтобы избежать такой ситуации. Посмотрите еще эту статью.

Собственно, вот недавно был тут перевод хорошей статьи по рейтингам и сортировкам.

Более развернуто можно посмотреть книжку Building Web Reputation Systems и ее блог

Хочу поинтересоваться. Найдено решение для рейтингования по нескольким параметрам?