Если кому интересно, от rdp и vnc решил отказаться. Лучше всего себя показал x11 forwarding, на нем и реши остановиться.
Под виндой пользуюсь Xmanager (платный, пока триал, может куплю) в качестве x сервера.
Есть еще бесплатные cygwin и xming, cygwin не пробовал, xmind напряг отключением хоткеев и курсора для текста в ide при переключение между окнами. Putty в качестве ssh клиента с включенной компрессией.
Из ubuntu все еще проще ssh -X -C your_name@your_host, запускаем потом нужные программы и радуемся жизни.