Чтобы уменьшить влияние раскрытия секретного ключа, рекомендуется шифровать пароль самим паролем. Атаки грубой силы в автономном режиме по определенным ключам все еще возможны, но они действительно дают ключ к тому, кто убегает с тележкой пользовательских ключей.
Другой вариант - если шифрование невозможно - это ограничить использование sshkey конкретными IP-адресами. Использование этого синтаксиса в открытом ключе добавлено на удаленный сервер.
from="ipaddress1,ipaddress2" ssh-rsa ...
Это означает, что в случае кражи этих ключей они будут бесполезны, если используются с любого другого сервера (с другим IP-адресом).
Более того, вы не должны хранить ценные закрытые ключи на том, что вы не контролируете. Для подключения к серверу достаточно сохранить открытый ключ на сервере.