Да, можно просто скопировать их: Git для Windows (то, что вы назвали «msysgit») поставляется со сборкой клиента OpenSSH, и, поскольку Ubuntu также поставляет OpenSSH в качестве клиента SSH, ключи не требуют преобразования.
Обратите внимание, что оба ключа должны быть расположены под ~/.ssh каталог на компьютере с Ubuntu (обратите внимание, что если этот каталог еще не существует, и вы собираетесь создать его вручную, он должен принадлежать вашему основному пользователю и группе и иметь 0600 режим доступа). Тогда id_rsa файл - закрытый ключ - должен быть установлен, чтобы иметь 0600 режим доступа. Открытый ключ ( id_rsa.pub ) следует использовать 0644 режим доступа - то есть доступ для записи только для вас и доступ для чтения для всех.
Обратите внимание, что это нормально, чтобы проиграть id_rsa.pub так как он может быть восстановлен из вашего личного ключа в любое время.