Является ли вычисление хеша MD5 менее интенсивным процессором, чем функции семейства SHA?

Да, MD5 несколько менее интенсивен. На моем Intel x86 (Core2 Quad Q6600, 2,4 ГГц, используя одно kernel), я получаю это в 32-битном режиме:

MD5 411 SHA-1 218 SHA-256 118 SHA-512 46 

и это в 64-битном режиме:

 MD5 407 SHA-1 312 SHA-256 148 SHA-512 189 

Цифры в мегабайтах в секунду для «длинного» сообщения (это то, что вы получаете для сообщений длиннее 8 кБ). Это с sphlib , библиотека реализаций hash-функций в C (и Java). Все реализации принадлежат одному автору (мне) и были сделаны с сопоставимыми усилиями при оптимизации; таким образом, разности скоростей можно считать действительно неотъемлемой частью функций.

Для сравнения рассмотрим, что последний жесткий диск будет работать со скоростью около 100 МБ / с, а что-то по USB будет ниже 60 МБ / с. Хотя SHA-256 выглядит «медленным» здесь, он достаточно быстр для большинства целей.

Обратите внимание, что OpenSSL включает в себя 32-разрядную реализацию SHA-512, которая намного быстрее, чем мой код (но не так быстро, как 64-разрядный SHA-512), потому что реализация OpenSSL находится в сборке и использует регистры SSE2, что не может выполняться на простом C. SHA-512 является единственной функцией среди тех четырех, которые выигрывают от реализации SSE2.

Изменить: на этой странице можно найти отчет о скорости работы многих хеш-функций (щелкните ссылку «Telechargez maintenant»). Отчет находится на французском языке, но в основном он заполнен таблицами и цифрами, а номера являются международными. Реализованные hash-функции не include кандидатов SHA-3 (кроме SHABAL), но я над этим работаю.

На моем MacBook Air 2012 (Intel Core i5-3427U, 2x 1.8 ГГц, 2.8 ГГц Turbo), SHA-1 немного быстрее, чем MD5 (с использованием OpenSSL в 64-разрядном режиме):

 $ openssl speed md5 sha1 OpenSSL 0.9.8r 8 Feb 2011 The 'numbers' are in 1000s of bytes per second processed. type 16 bytes 64 bytes 256 bytes 1024 bytes 8192 bytes md5 30055.02k 94158.96k 219602.97k 329008.21k 384150.47k sha1 31261.12k 95676.48k 224357.36k 332756.21k 396864.62k 

Обновление: через 10 месяцев с OS X 10.9 SHA-1 стал медленнее на той же машине:

 $ openssl speed md5 sha1 OpenSSL 0.9.8y 5 Feb 2013 The 'numbers' are in 1000s of bytes per second processed. type 16 bytes 64 bytes 256 bytes 1024 bytes 8192 bytes md5 36277.35k 106558.04k 234680.17k 334469.33k 381756.70k sha1 35453.52k 99530.85k 206635.24k 281695.48k 313881.86k 

Второе обновление: в OS X 10.10 скорость SHA-1 возвращается к уровню 10,8:

 $ openssl speed md5 sha1 OpenSSL 0.9.8zc 15 Oct 2014 The 'numbers' are in 1000s of bytes per second processed. type 16 bytes 64 bytes 256 bytes 1024 bytes 8192 bytes md5 35391.50k 104905.27k 229872.93k 330506.91k 382791.75k sha1 38054.09k 110332.44k 238198.72k 340007.12k 387137.77k 

Реальный ответ: это зависит

Есть несколько факторов, которые следует учитывать, наиболее очевидными являются: процессор, на котором вы выполняете эти алгоритмы и реализуете алгоритмы.

Например, я и мой друг запускают ту же самую версию openssl и получают несколько разные результаты с помощью различных процессоров Intel Core i7.

Мой тест на работе с процессором Intel (R) Core (TM) i7-2600 @ 3,40 ГГц

 The 'numbers' are in 1000s of bytes per second processed. type 16 bytes 64 bytes 256 bytes 1024 bytes 8192 bytes md5 64257.97k 187370.26k 406435.07k 576544.43k 649827.67k sha1 73225.75k 202701.20k 432679.68k 601140.57k 679900.50k 

И его с процессором Intel (R) Core (TM) i7 920 @ 2,67 ГГц

 The 'numbers' are in 1000s of bytes per second processed. type 16 bytes 64 bytes 256 bytes 1024 bytes 8192 bytes md5 51859.12k 156255.78k 350252.00k 513141.73k 590701.52k sha1 56492.56k 156300.76k 328688.76k 452450.92k 508625.68k 

Мы оба выполняем те же самые файлы OpenSSL 1.0.1j 15 октября 2014 года из официального пакета ArchLinux.

Мое мнение об этом заключается в том, что с добавленной безопасностью sha1 разработчики cpu с большей вероятностью улучшат скорость sha1, и больше программистов будут работать над оптимизацией алгоритма, чем md5sum.

Я предполагаю, что md5 больше не будет использоваться когда-нибудь, так как кажется, что он не имеет преимущества перед sha1. Я также тестировал некоторые случаи на реальных файлах, и результаты всегда были одинаковыми в обоих случаях (вероятно, они ограничены дисковыми вводами / выводами).

md5sum большого файла объемом 4,6 ГБ занял то же самое время, что и sha1sum того же файла, то же самое касается большого количества небольших файлов (488 в том же каталоге). Я провел тесты десятки раз, и они последовательно получали одинаковые результаты.

–

Было бы очень интересно исследовать это дальше. Я думаю, есть некоторые эксперты, которые могли бы дать твердый ответ на вопрос, почему sha1 становится быстрее, чем md5 на новых процессорах.

MD5 также извлекает выгоду из использования SSE2, проверьте BarsWF, а затем скажите мне, что это не так. Все, что требуется, – это небольшое знание ассемблера, и вы можете создавать свои собственные MD5 SSE2 (ы). Однако при больших объемах пропускной способности существует компромисс скорости во время hashирования, а не время, затрачиваемое на переупорядочивание входных данных для совместимости с используемыми инструкциями SIMD.