Судя по логам (ssh -v) проблема в том, что во втором случае SSH не может найти нужный ключ в ~/.ssh/known_hosts — у меня нестандартное имя файла ключа (для разных машин разные ключи).
host github.com
IdentityFile /home/user/.ssh/other_id_rsa
-rw-r--r-- 1 admin 197121 3243 апр 10 13:11 id_rsa
chmod 600 ~/.ssh/id_rsa