Размер ключа RSA имеет значение только в момент установления соединения. Размер ключа может иметь значение, если одна из машин работает медленно, поскольку большие ключи означают более длительные вычисления, но его влияние на время соединения незначительно.
Если пропускная способность является проблемой, сжимают соединение: ssh -C.
Если время установления соединения является проблемой, не забудьте активировать одно главное SSH-соединение и использовать подчиненный режим для последующих соединений.
Если проблема заключается в задержке, вы ничего не можете сделать, кроме как адаптировать свои привычки. Если задержка настолько высока, что использование интерактивных программ затруднительно, набирайте команды локально и отправляйте их по завершении (режим оболочки Emacs хорош для этого). Управляйте файлами через SSHFS (кроме удаленных копий).
Избегайте необходимости удаленного X, так как он чувствителен к задержке и потребляет пропускную способность. Если вам действительно нужно, NX - лучший из всех (но его сложно настроить, потому что это не бесплатное программное обеспечение, поэтому дистрибутивы его не предоставляют; это может измениться по мере появления свободных клонов).