Как реализовано set ()?

Я видел, как люди говорят, что setобъекты в Python имеют O (1) проверку членства. Как они реализованы внутри, чтобы позволить это? Какую структуру данных он использует? Какие еще последствия имеет эта реализация?

Каждый ответ здесь был действительно поучительным, но я могу принять только один, поэтому я пойду с самым близким ответом на мой оригинальный вопрос. Спасибо всем за информацию!

По этой теме :

Действительно, наборы CPython реализованы как словари с фиктивными значениями (ключи являются членами набора) с некоторыми оптимизациями, которые используют это отсутствие значений.

Таким образом, в основном в setкачестве базовой структуры данных используется хеш-таблица. Это объясняет проверку членства O (1), поскольку поиск элемента в хеш-таблице в среднем является операцией O (1).

Если вы так склонны, вы даже можете просмотреть исходный код CPython для набора, который, согласно Achim Domma , в основном вырезан и вставлен из dictреализации.

Когда люди говорят, что наборы имеют O (1) проверку членства, они говорят о среднем случае. В наихудшем случае (когда все хэшированные значения сталкиваются) проверка членства - это O (n). Смотрите вики Python о сложности времени .

В статье Википедии говорится, что лучшая сложность времени для хеш-таблицы без изменения размера O(1 + k/n). Этот результат не применяется напрямую к наборам Python, поскольку наборы Python используют хеш-таблицу с изменяемым размером.

Чуть дальше по статье Википедии говорится , что для среднего случая, и предполагая простую функцию хэширования равномерного, время сложность O(1/(1-k/n)), где k/nможет быть ограничена константой c<1.

Big-O относится только к асимптотическому поведению при n → ∞. Так как k / n может быть ограничено константой, c <1, независимо от n ,

O(1/(1-k/n))не больше, чем O(1/(1-c))эквивалентно O(constant)= O(1).

Таким образом, при условии равномерного простого хеширования, проверка членства для наборов Python в среднем такова O(1).

Я думаю, что это распространенная ошибка, setпоиск (или хэш-таблица в этом отношении) не O (1).
из википедии

В простейшей модели хеш-функция совершенно не указана, а размер таблицы не изменяется. Для наилучшего выбора хэш-функции таблица размера n с открытой адресацией не имеет коллизий и содержит до n элементов, с одним сравнением для успешного поиска, а таблица размера n с цепочками и ключами k имеет минимальный максимум (0, kn) столкновений и O (1 + k / n) сравнений для поиска. Для наихудшего выбора хеш-функции каждая вставка вызывает коллизию, а хеш-таблицы вырождаются в линейный поиск с Ω (k) амортизированными сравнениями на вставку и до k сравнений для успешного поиска.

Связанный: действительно ли Java hashmap O (1)?

У всех нас есть легкий доступ к источнику , где предыдущий комментарий set_lookkey()говорит:

/* set object implementation
 Written and maintained by Raymond D. Hettinger <python@rcn.com>
 Derived from Lib/sets.py and Objects/dictobject.c.
 The basic lookup function used by all operations.
 This is based on Algorithm D from Knuth Vol. 3, Sec. 6.4.
 The initial probe index is computed as hash mod the table size.
 Subsequent probe indices are computed as explained in Objects/dictobject.c.
 To improve cache locality, each probe inspects a series of consecutive
 nearby entries before moving on to probes elsewhere in memory.  This leaves
 us with a hybrid of linear probing and open addressing.  The linear probing
 reduces the cost of hash collisions because consecutive memory accesses
 tend to be much cheaper than scattered probes.  After LINEAR_PROBES steps,
 we then use open addressing with the upper bits from the hash value.  This
 helps break-up long chains of collisions.
 All arithmetic on hash should ignore overflow.
 Unlike the dictionary implementation, the lookkey function can return
 NULL if the rich comparison returns an error.
*/


...
#ifndef LINEAR_PROBES
#define LINEAR_PROBES 9
#endif

/* This must be >= 1 */
#define PERTURB_SHIFT 5

static setentry *
set_lookkey(PySetObject *so, PyObject *key, Py_hash_t hash)  
{
...

Чтобы еще больше подчеркнуть разницу между set'sи dict's, вот выдержка из setobject.cразделов с комментариями, в которых разъясняется главное отличие набора от диктов.

Варианты использования для наборов значительно отличаются от словарей, в которых вероятнее всего присутствуют искомые ключи. Напротив, наборы в основном касаются тестирования членства, когда наличие элемента заранее неизвестно. Соответственно, заданная реализация должна оптимизироваться как для найденного, так и для не найденного случая.

источник на github