Есть плюсы и минусы для pw или аутентификации на основе ключей.
Например, в некоторых случаях аутентификация на основе ключей менее безопасна, чем аутентификация по паролю. В других случаях его на базе pw это менее безопасно. В некоторых случаях одно удобнее, в других меньше.
Все сводится к следующему: когда вы выполняете аутентификацию на основе ключей, вы должны защитить свой ключ парольной фразой. Если у вас не запущен ssh-agent (ssh-agent освобождает вас от необходимости вводить вашу фразу-пароль каждый раз), вы ничего не получили в плане удобства. Безопасность спорна: вектор атаки теперь сместился с сервера на ВАС, или на Вашу учетную запись, или на Ваш персональный компьютер (...) - их может быть, а может и не быть легче сломать.
Думайте нестандартно, решая это. Вы получаете или теряете с точки зрения безопасности, зависит от остальной части вашей среды и других мер.
редактировать: О, только что увидел, что вы говорите о домашнем сервере. Я был в той же ситуации, «пароль» или «флешка с ключом на нем» всегда со мной? Я выбрал первый, но изменил порт прослушивания SSH на что-то отличное от 22. Это останавливает всех этих грубых злоумышленников, перебирающих зверства, форсирующих целые диапазоны сети.