Я бы начал с поиска в /var/log/auth.log
Аутентификация в Linux, пароли и другие вещи обрабатываются PAM (подключаемые модули аутентификации). Вы можете получить эти модули для вывода отладочной информации в auth.log, изменив файлы в /etc/pam.d/
Обратите внимание, что делать что-либо более сложное, чем добавление «debug» в строку, - это РИСК, поскольку даже если вы знаете, что делаете, довольно легко в конечном итоге сделать невозможным вход в систему (в этом случае вам придется перезагрузиться с живого компакт-диска или что-то). И вам нужно иметь резервную копию всего, что вы редактируете. И вам нужно открыть еще одну корневую оболочку, чтобы вы могли скопировать резервную копию.
Вот хорошая страница об отладке PAM, которую я только использовал, чтобы исправить некоторые проблемы аутентификации kerberos: http://www.micro-gravity.com/wiki/index.php?page=DebuggingPAM