Является ли вычисление хэша MD5 менее затратным для ЦП, чем функции семейства SHA?

115

Является ли вычисление хэша MD5 менее затратным для ЦП, чем SHA-1 или SHA-2 на «стандартном» оборудовании x86 ноутбука? Меня интересует общая информация, а не конкретная микросхема.

ОБНОВЛЕНИЕ: в моем случае меня интересует вычисление хэша файла. Если размер файла имеет значение, предположим, что это 300 КБ.

— Мик
источник

Это не ответ на ваш вопрос, но сторонники Skein заявляют о его скорости, и в настоящее время она определенно не слабее MD5 с истекшим сроком эксплуатации. В сообщениях, которые вам нужно хэшировать, очень короткие, скорость может быть недостатком для криптографической хеш-функции (в частности, насколько быстро кто-то другой может ее реализовать, а не насколько быстро она работает на вашем ноутбуке). schneier.com/skein1.2.pdf

— Паскаль Куок,

4

@Pascal: Skein - не самый быстрый из кандидатов SHA-3, особенно на 32-битных платформах. На 64-битном x86 скорость Skein составляет около 300 МБ / с (Skein-512 несколько быстрее, чем Skein-256), что сопоставимо с SHA-1, но в 32-битном режиме производительность падает до менее 60 МБ / с. s, вдвое медленнее, чем SHA-256. С другой стороны, SHABAL, еще один кандидат на SHA-3, предлагает производительность, аналогичную SHA-1, как на 32-разрядных, так и на 64-разрядных платформах.

— Томас Порнин

123

Да, MD5 несколько менее загружает процессор. На моем Intel x86 (Core2 Quad Q6600, 2,4 ГГц, с использованием одного ядра) я получаю это в 32-битном режиме:

MD5       411
SHA-1     218
SHA-256   118
SHA-512    46

и это в 64-битном режиме:

MD5       407
SHA-1     312
SHA-256   148
SHA-512   189

Цифры в мегабайтах в секунду для «длинного» сообщения (это то, что вы получаете для сообщений длиннее 8 кБ). Это относится к sphlib , библиотеке реализаций хэш-функций на C (и Java). Все реализации принадлежат одному автору (мне) и были сделаны с сопоставимыми усилиями по оптимизации; таким образом, различия в скорости можно рассматривать как действительно присущие функциям.

Для сравнения, примите во внимание, что последний жесткий диск будет работать со скоростью около 100 МБ / с, а все, что идет через USB, будет ниже 60 МБ / с. Хотя здесь SHA-256 кажется «медленным», он достаточно быстр для большинства целей.

Обратите внимание, что OpenSSL включает 32-битную реализацию SHA-512, которая намного быстрее, чем мой код (но не так быстро, как 64-битный SHA-512), потому что реализация OpenSSL находится в сборке и использует регистры SSE2, что не может выполняется на простом языке C. SHA-512 - единственная функция из этих четырех, которая выигрывает от реализации SSE2.

Изменить: на этой странице (в архиве ) можно найти отчет о скорости многих хеш-функций (нажмите на ссылку «Telechargez maintenant»). Отчет на французском языке, но в основном он полон таблиц и цифр, причем цифры являются международными. Реализованные хэш-функции не включают кандидатов SHA-3 (кроме SHABAL), но я над этим работаю.

— Томас Порнин
источник

2

Я не думаю, что ваши тесты полезны. Сравнение скорости двух алгоритмов на основе эквивалентной, но неполной оптимизации не имеет значения. В реальном мире вы не разворачиваете свою собственную реализацию, а вместо этого используете полностью оптимизированные реализации. Результаты из них следует сравнивать.

— Эдвард Брей,

10

@EdwardBrey На самом деле они почти полностью оптимизированы. На самом деле его реализация md5 работает намного быстрее, чем предлагает OpenSSL, поэтому не каждая реализация будет оптимизирована в «реальном мире», как вы говорите. Кроме того, хотя они и не идеальны (в этом вы правы), имхо они служат прекрасным ответом на этот конкретный вопрос.

— Gaspa79

50

На моем MacBook Air 2012 года (Intel Core i5-3427U, 2x 1,8 ГГц, 2,8 ГГц Turbo) SHA-1 немного быстрее, чем MD5 (с использованием OpenSSL в 64-битном режиме):

$ openssl speed md5 sha1
OpenSSL 0.9.8r 8 Feb 2011
The 'numbers' are in 1000s of bytes per second processed.
type             16 bytes     64 bytes    256 bytes   1024 bytes   8192 bytes
md5              30055.02k    94158.96k   219602.97k   329008.21k   384150.47k
sha1             31261.12k    95676.48k   224357.36k   332756.21k   396864.62k

Обновление: 10 месяцев спустя с OS X 10.9 SHA-1 на той же машине стал медленнее:

$ openssl speed md5 sha1
OpenSSL 0.9.8y 5 Feb 2013
The 'numbers' are in 1000s of bytes per second processed.
type             16 bytes     64 bytes    256 bytes   1024 bytes   8192 bytes
md5              36277.35k   106558.04k   234680.17k   334469.33k   381756.70k
sha1             35453.52k    99530.85k   206635.24k   281695.48k   313881.86k

Второе обновление: в OS X 10.10 скорость SHA-1 вернулась к уровню 10.8:

$ openssl speed md5 sha1
OpenSSL 0.9.8zc 15 Oct 2014
The 'numbers' are in 1000s of bytes per second processed.
type             16 bytes     64 bytes    256 bytes   1024 bytes   8192 bytes
md5              35391.50k   104905.27k   229872.93k   330506.91k   382791.75k
sha1             38054.09k   110332.44k   238198.72k   340007.12k   387137.77k

Третье обновление: OS X 10.14 с LibreSSL намного быстрее (все еще на той же машине). SHA-1 по-прежнему лидирует:

$ openssl speed md5 sha1
LibreSSL 2.6.5
The 'numbers' are in 1000s of bytes per second processed.
type             16 bytes     64 bytes    256 bytes   1024 bytes   8192 bytes
md5              43128.00k   131797.91k   304661.16k   453120.00k   526789.29k
sha1             55598.35k   157916.03k   343214.08k   489092.34k   570668.37k

— nwellnhof
источник

2

странно, мой вид такой же, как у вас, и я получил противоположные результаты тестов. с 8192 байтами: md5 305549.52k; sha1 204668.57k

— Карлос Фонтес

3

Хм, у меня тоже получаются другие результаты, чем в прошлом году на той же машине: md5 381756.70k, sha1 313881.86k. Может, из-за обновления до 10.9 (OpenSSL 0.9.8y).

— nwellnhof

6

Это отличный ответ. это показывает вашу заботу. спасибо, чувак, что поделился

— M at

13

Настоящий ответ: это зависит от

Следует учитывать несколько факторов, наиболее очевидными из которых являются: процессор, на котором выполняются эти алгоритмы, и реализация алгоритмов.

Например, я и мой друг запускаем одну и ту же версию openssl и получаем немного разные результаты с разными процессорами Intel Core i7.

Мой тест на работе с процессором Intel (R) Core (TM) i7-2600 @ 3,40 ГГц

The 'numbers' are in 1000s of bytes per second processed.
type             16 bytes     64 bytes    256 bytes   1024 bytes   8192 bytes
md5              64257.97k   187370.26k   406435.07k   576544.43k   649827.67k
sha1             73225.75k   202701.20k   432679.68k   601140.57k   679900.50k

И его с процессором Intel (R) Core (TM) i7 920 @ 2,67 ГГц

The 'numbers' are in 1000s of bytes per second processed.
type             16 bytes     64 bytes    256 bytes   1024 bytes   8192 bytes
md5              51859.12k   156255.78k   350252.00k   513141.73k   590701.52k
sha1             56492.56k   156300.76k   328688.76k   452450.92k   508625.68k

Мы оба используем одни и те же двоичные файлы OpenSSL 1.0.1j 15 октября 2014 года из официального пакета ArchLinux.

Мое мнение по этому поводу состоит в том, что с дополнительной безопасностью sha1 разработчики процессоров с большей вероятностью улучшат скорость sha1, и над оптимизацией алгоритма будет работать больше программистов, чем md5sum.

Я предполагаю, что md5 когда-нибудь больше не будет использоваться, так как кажется, что он не имеет преимущества перед sha1. Я также тестировал некоторые случаи на реальных файлах, и результаты всегда были одинаковыми в обоих случаях (вероятно, ограничены дисковым вводом-выводом).

md5sum большого файла размером 4,6 ГБ занял то же время, что и sha1sum того же файла, то же самое происходит со многими маленькими файлами (488 в том же каталоге). Я проводил тесты десятки раз, и они неизменно получали одинаковые результаты.

-

Было бы очень интересно исследовать это дальше. Я думаю, что есть некоторые эксперты, которые могут дать твердый ответ на вопрос, почему sha1 становится быстрее, чем md5 на новых процессорах.

— Johnride
источник

6

Вам серьезно нужно купить SSD (и / или удалить McAfee) :)

— Maarten Bodewes

1

@owlstead, черт возьми, я забыл выключить "медленный режим" моих Linux-боксов, когда попробовал это.

— Johnride

4

@Johnride, не сравнивайте результаты из файла. Запустите его из данных в памяти или, что еще проще, просто перефразируйте то же значение.

— Робиньо

1

@Robino - вот что openssl speedделает, это первый и самый значимый тест.

— Johnride

1

MD5 также выигрывает от использования SSE2, посмотрите BarsWF и скажите мне, что это не так. Все, что для этого потребуется, - это немного знаний ассемблера, и вы сможете создать свою собственную процедуру (ы) MD5 SSE2. Однако для больших объемов пропускной способности существует компромисс между скоростью во время хеширования, а не временем, затрачиваемым на перегруппировку входных данных, чтобы они были совместимы с используемыми инструкциями SIMD.

— Боб-строитель
источник

3

На первый взгляд неясно, используется ли SSE2 для ускорения одного потока MD5 или для объединения нескольких параллельных потоков MD5; последнее, конечно, легко для большинства алгоритмов, но это не считается преимуществом от SSE2, поскольку обычно требуется единый поток данных.

— Lapo 02

0

sha1sum немного быстрее на Power9, чем md5sum

$ uname -mov
#1 SMP Mon May 13 12:16:08 EDT 2019 ppc64le GNU/Linux

$ cat /proc/cpuinfo
processor       : 0
cpu             : POWER9, altivec supported
clock           : 2166.000000MHz
revision        : 2.2 (pvr 004e 1202)

$ ls -l linux-master.tar
-rw-rw-r-- 1 x x 829685760 Jan 29 14:30 linux-master.tar

$ time sha1sum linux-master.tar
10fbf911e254c4fe8e5eb2e605c6c02d29a88563  linux-master.tar

real    0m1.685s
user    0m1.528s
sys     0m0.156s

$ time md5sum linux-master.tar
d476375abacda064ae437a683c537ec4  linux-master.tar

real    0m2.942s
user    0m2.806s
sys     0m0.136s

$ time sum linux-master.tar
36928 810240

real    0m2.186s
user    0m1.917s
sys     0m0.268s

— Б. Абали
источник