Повлияет ли аппаратное обеспечение / реализация на временную / пространственную сложность алгоритмов?

Я даже не студент CS, так что это может быть глупым вопросом, но, пожалуйста, потерпите меня ...

В до-компьютерную эпоху мы можем реализовать структуру данных массива только с чем-то вроде массива ящиков. Так как перед извлечением значения из него нужно найти ящик с соответствующим индексом, временная сложность поиска в массиве составляет , предполагая бинарный поиск.$O(log(n))$

Однако изобретение компьютеров имело большое значение. Современные компьютеры могут читать из своей оперативной памяти так быстро, что теперь мы считаем, что временная сложность поиска в массиве равна (даже технически это не так, поскольку для перемещения регистра на большее расстояние и т. Д. Требуется больше времени)$O(1)$

Другой пример - словари Python. В то время как можно получить сложность доступа к словарю с плохо написанным перегруженным магическим методом (или смехотворной неудачей, то есть ключами, имеющими много коллизий хешей), обычно предполагается, что . В этом случае сложность времени зависит как от реализации хеш-таблиц словарей Python, так и от реализации ключей хеш-функций.$O(n)$__hash__$O(1)$

Означает ли это, что аппаратное обеспечение / реализация может влиять на временную сложность алгоритмов? (Хотя оба примера касаются структур данных, а не алгоритмов, последние основаны на первом, и я никогда не слышал о временной сложности структур данных, поэтому здесь я использую термин «алгоритмы»)

На мой взгляд, алгоритмы являются абстрактными и концептуальными, чьи свойства, такие как сложность времени / пространства, не должны зависеть от того, реализованы ли они особым образом, но так ли это?

Конечно. Безусловно. Вот как примирить ваш дискомфорт.

Когда мы анализируем время выполнения алгоритмов, мы делаем это в отношении конкретной модели вычислений . Модель вычислений определяет такие вещи, как время, необходимое для выполнения каждой базовой операции (время поиска в массиве или время?). Время работы алгоритма может зависеть от модели вычислений.O ( 1 $O(\log n)$$O(1)$

После того, как вы выбрали модель вычисления, анализ алгоритма является чисто абстрактным, концептуальным, математическим упражнением, которое больше не зависит от аппаратного обеспечения.

Однако на практике мы обычно хотим выбрать модель вычислений, которая отражает реальность нашего оборудования - по крайней мере, в разумной степени. Таким образом, если оборудование меняется, мы можем решить проанализировать наши алгоритмы в соответствии с другой моделью вычислений, которая больше подходит для нового оборудования. Именно так аппаратное обеспечение может влиять на время работы.

Причина, по которой это неочевидно, заключается в том, что во вводных классах мы часто не говорим о модели вычислений. Мы просто неявно делаем некоторые предположения, даже не делая их явными. Это разумно для педагогических целей, но оно имеет свою стоимость - оно скрывает этот аспект анализа. Теперь ты знаешь.

Я думаю, что в этом вопросе есть фундаментальное недоразумение. Вы сравниваете человека, находящего объект в отсортированном списке (например, определенную страницу в книге, учитывая ее номер), с компьютером, ищущим элемент из массива.

$O(\log n)$$O(1)$

Итак, да, аппаратное обеспечение (т. Е. Модель вычислений) действительно влияет на время работы алгоритмов, как объясняет DW , но это не то, на чем, кажется, основан ваш пример доступа к массиву.

Нет, аппаратное обеспечение не влияет на сложность алгоритмов.

Но это влияет на выбор алгоритма и может повлиять на полезность анализа сложности до такой степени, что анализ становится практически бессмысленным (или просто представляет академический интерес).

Для поиска нужного ящика (для доступа к элементу массива) используется алгоритм «открыть N-й элемент напрямую по индексу», а не алгоритм «линейный поиск» или «выполнить двоичный поиск». Алгоритмы не изменены, но выбор.

С другой стороны, сам анализ сложности, а точнее его значимость, сильно зависит от аппаратного обеспечения.

Многие алгоритмы, которые являются звездными из-за их анализа сложности, являются плохими исполнителями или даже бесполезны на практике, потому что незначительный постоянный фактор вовсе не незначителен, но доминирует .

Или потому, что предположения, которые когда-то были верными (или в основном верными), больше не верны. Например, каждая операция в основном одинакова (только небольшие постоянные различия, которые не имеют значения), или не имеет значения, в каких местах памяти вы обращаетесь в каком порядке. Из анализа сложности можно сделать вывод, что какой-то алгоритм значительно превосходит все, потому что ему нужно только столько операций. На практике вы можете обнаружить, что каждая операция приводит к гарантированному отсутствию кэша (или, что еще хуже, к отказу страницы), который вводит k , настолько большое , что оно перестает быть незначительным, но доминирует над всем.
Если алгоритм A требует 500 операций для обработки набора данных заданного размера, а алгоритм B - только 5, но B вызывает 5 сбоев, каждый из которых сжигает двадцать миллионов циклов, то, несмотря на то, что может сказать вам анализ или здравый смысл, A лучше.

Это привело к забавным сюрпризам, таким как, например, в Cuckoo Hashing несколько лет назад. Который был значительно выше, потому что [длинный список преимуществ]. После того, как шумиха остыла, оказалось, что она значительно уступает, поскольку гарантирует два промаха кэша (ошибки для больших наборов данных) при каждом доступе.

Подобное произошло с идентификацией и обработкой подмножеств данных. Часто правильное решение в настоящее время таково : «просто сделай все» , т. Е. Вместо того, чтобы выяснить, что тебе нужно для обработки и сделать это, обработай полный набор данных линейно, даже если тебе может понадобиться только половина из этого. Потому что, хотите верьте, хотите нет, но это быстрее, потому что нет ошибок в ветвях, нет ошибок в кеше, нет ошибок страниц.
Нужно прочитать первые 8 КБ и последние 3 КБ файла размером 3 МБ? Хорошо, прочитайте весь файл и выбросьте то, что вам не нужно, потому что поиск между ними будет в десять раз медленнее, чем просто чтение всего.

Использовать карту, потому что она имеет логарифмическую сложность? Или хеш-таблица с постоянным временем доступа? Постоянные звуки потрясающие. Ну, для всего, что насчитывает менее тысячи вещей (в зависимости от аппаратного обеспечения, размера данных и схемы доступа), линейный поиск может быть таким же хорошим или лучшим. Сюрприз.

Таким образом, это касается не самих алгоритмов , а их полезности и выбора.