Как сконвертировать linux-сервер в виртуалку vmware?

Скопируйте винт в файл на другой диск или в сеть, лучше предварительно загрузиться с live cd
dd if=/dev/sda of=файл
создайте пустую виртуалку и в ней обратное преобразование
dd if=файл of=/dev/sda

Cейчас попробывал это с dsl и virtualbox прошло без проблем, копировал по nfs.

Как заметили выше — dd.

Если хочется графического интерфейса — clonezilla. Я с их помощью кучу серверов перетаскал по треугольнику ESX — VirtualBox — Реальная машина — …

Понимаю Vmware это не VirtualBox. Но если есть желание запустить реальный linux сервер из под виндоус как виртуальный, то у меня получилось так, я подключил реальный диск линукса к виртуал бокс под виндоус, потом создал виртуальную машину и подключил это реальный диск. Из xorg.conf убрал упоминание о nvidia и оно запустилось.

Эта функция называется VirtualBox Raw Disk
www.virtualbox.org/manual/ch09.html#rawdisk
romaimperator.com/?p=29

Не имею ни какого опыта с VMware, но поиск raw disk принес
serverfault.com/questions/105274/how-do-i-add-a-physical-raw-disk-to-a-virtual-machine-in-vmware-server-2-on-a

Тут говорится, что какая то версия VmWare Workstation не поддерживает raw disk, скорей всего плеер еще менее функционален

И в таком случае только dd

Но в моем случаем копировать весь диск было некуда и было проще его просто подключить

Вам надо выбирать в поле Destination не VMware Infrastructure virtual, а VMWare Workstation or other virtual machine. Далее в поле Select VMWare product выбирайте VMWare Player той версии, что вам нужна.

можно использовать coldclone cd (идёт/шёл в комплекте с vmware converter)
или любое ПО для создания образа диска и восстановление этого образа на подготовленную ВМ (я делал c помощью acronis true image c сохранением образа на smb шару)