Есть разные способы решения этой проблемы: вы можете настроить sshd(на стороне сервера) или ssh(на стороне клиента) не использовать аутентификацию по паролю. Отключение аутентификации по паролю на сервере делает ваш сервер более безопасным, но у вас будут проблемы, если вы потеряете свой ключ.
Чтобы ssh(на стороне клиента) использовать аутентификацию pubkey, добавьте в sshкоманду несколько параметров :
ssh -o PubkeyAuthentication=yes -o PasswordAuthentication=no -X git@server
Если это работает, вы можете установить эту PasswordAuthentication=noопцию постоянно в конфигурационном файле клиента ssh для /etc/ssh/ssh_configвсей системы или ~/.ssh/configдля конкретного пользователя (подробности см. man ssh_config).