Почему не работает sort() Laravel?

Нужно вывести диалоги, при этом сущности чатов, как таковой нет. Есть просто сообщения, в которых sender_id и receiver_id. Теперь нужно выводить список чатов. Тут натолкнулся на проблему, что не получается сортировать юзеров по последнему сообщению, подскажите, что не так с кодом?

$users = $users->sort(function ($user){
            return $user->lastMessage->created_at->toDateTimeString();
        });

Выводит вообще в левом порядке, никакой зависимости нет от даты последнего сообщения.