У меня была такая же проблема, как и у тебя. Я не эксперт, но решение, которое сработало для меня, состояло в том, чтобы удалить ключи из каталога ~ / .ssh. Это пример того, что я видел.
$ ssh-add -l
2048 06:e9:a6:14:2a:e4:c3:11:56:ea:c3:5d:f9:84:79:c6 first key (RSA)
2048 2c:c3:97:fe:f3:cf:03:dc:d3:0b:87:2b:01:72:33:3b second key (RSA)
$ ssh-add -d ~/.ssh/id_rsa.pub
Identity removed: /home/user/.ssh/ybot_rsa.pub (/home/user/.ssh/id_rsa.pub)
$ ssh-add -l
2048 06:e9:a6:14:2a:e4:c3:11:56:ea:c3:5d:f9:84:79:c6 first key (RSA)
2048 2c:c3:97:fe:f3:cf:03:dc:d3:0b:87:2b:01:72:33:3b second key (RSA)
После перемещения id_rsa (и id_rsa.pub) из папки ~ / .ssh ssh-agent перестал иметь идентификационные данные. То, что я сделал, было:
$ ssh-add -l
2048 06:e9:a6:14:2a:e4:c3:11:56:ea:c3:5d:f9:84:79:c6 first key (RSA)
2048 2c:c3:97:fe:f3:cf:03:dc:d3:0b:87:2b:01:72:33:3b second key (RSA)
$ mv ~/.ssh/id_rsa ~/.ssh/id_rsa.pub ~/
$ ssh-add -l
2048 2c:c3:97:fe:f3:cf:03:dc:d3:0b:87:2b:01:72:33:3b second key (RSA)
Я предполагаю (я могу ошибаться), что если бы у вас не работал демон Gnome Keyring (gnome-keyring-daemon), это поведение изменилось бы. Возможно, оригинальное (и логичное) решение подойдет, но не второе.
openssh
6.2p1-1