По вашей изначальной проблеме, либо порт не открыт, либо сервис не установлен, либо висит на другом порту, либо ещё что, не знаю -v покажет или нет, как вариант можете wireshark'ом посмотреть содержание почему именно connection refused. По проблеме которой вы поделились в комментариях - не указан алгоритм ключа в конфиге.
Попробуйте ssh -v юзер@сервер и напишите вывод.