Почему иногда не проходит авторизация по ключу ssh?

Мне необходимо, чтобы с одного сервера выполнялся скрипт на другом, решил для этого использовать авторизацию по ключу в ssh.
ssh ip-address ./script.pl
Все работает нормально, но иногда почему то авторизация не проходит, а просит пароль. Если несколько раз поклацать, то оно расходится и работает. Но такие глюки портят всю работу механизма, сталкивался кто с таким?