Есть ли аналог Remmina под Windows?

Для только rdp - есть rdtabs. Очень удобная штуковина.

Нормальные сисадмины комбайны не юзают.
ssh - securecrt
rdp в винде и так достаточно хорош. Хоть и умирает почучуть. Остался только для клиентских компов. Сервера нынче без графики пашут и через диспетчер серверов админятся. В качестве менеджера можно задействовать Remote Desktop Connection Manager. Хоть и старичок.
vnc - хз если честно. К сервера больше по ssh долбишься.

Посмотри в сторону Terminals. Вещь неплохая, но написана вроде на JAVA. Есть ещё RDPDesk, правда проект загнулся, и у меня выдает ошибки при подключении.
@edinorog советует смотреть в сторону управления через консоли. ConEmu - то что нужно для ssh/cmd/powershell/far. Всё во вкладках, и в portable виде.

MobaXterm