Я сгенерировал ключ и скопировал его в свою цель:
ssh-keygen
ssh-copy-id username@hostname
Я оставил расположение ключа по умолчанию и не установил пароль.
Некоторое время после этого я смог ssh username@hostname
без запроса пароля, а затем он перестал работать по какой-то причине.