Вычисление расстояния Левенштейна быстро

Учитывая огромную базу данных разрешенных слов (отсортированных по алфавиту) и слово, найдите слово из базы данных, которая является ближайшей к данному слову с точки зрения расстояния Левенштейна.

Наивный подход, конечно, состоит в том, чтобы просто вычислить левенштейновское расстояние между данным словом и всеми словами в словаре (мы можем выполнить бинарный поиск в базе данных, прежде чем вычислять расстояния).

Интересно, есть ли более эффективное решение этой проблемы? Может быть, какая-то эвристика, которая позволяет нам сократить количество слов для поиска или оптимизации алгоритма расстояния Левенштейна.

Ссылки на статьи по теме приветствуются.

То, о чем вы спрашиваете, - это проблема поиска соседей под расстоянием редактирования. Вы не упомянули, интересуетесь ли вы теоретическими результатами или эвристикой, поэтому я отвечу на первый.

Расстояние редактирования несколько неприятно для построения структур поиска ближнего. Основная проблема заключается в том , что в качестве метрики, она ведет себя ( своего рода) , как и другие хорошо известные плохие показатели , как с целью уменьшения размерности и приближения. По этой теме можно прочитать довольно обширную работу, и вашим лучшим источником является набор работ Алекса Андони : следуя указателям в обратном направлении (например, из его статьи FOCS 2010), вы получите хороший набор источников.$\ell_1$

Автоматы Левенштейна: http://en.wikipedia.org/wiki/Levenshtein_automaton

BK деревья: http://en.wikipedia.org/wiki/BK-tree

Если у вас есть небольшое количество неправильных правок, которые вы собираетесь терпеть, то вы можете попытаться использовать дерево суффиксов с точками . Отказ от ответственности: я написал эту статью, но она решает то, что вы хотите: у него высокая стоимость дискового пространства, но запросы действительно быстрые.

В общем, лучше взглянуть на это с другой стороны: у вас есть индекс всех слов в словаре. Теперь для входного слова w, если оно есть в словаре, остановитесь. В противном случае создайте все варианты на расстоянии 1 и найдите их. Если их там нет, поищите варианты на расстоянии 2 и так далее ...

Есть несколько улучшений этой основной идеи.

Простое решение - хранить слова как три. Затем вы можете вычислить расстояние Левенштейна слова запроса по отношению к три с помощью стандартного алгоритма динамического программирования, вместо того, чтобы вычислять его по каждому слову в отдельности. В худшем случае временная сложность не улучшается асимптотически, но если сначала развернуть наиболее многообещающие ветви, вы получите что-то вроде времени для длины запроса m , размера алфавита $O(m^{k+1} \cdot \sigma^{k})$$m$$\sigma$$k$

Я написал ответ на очень похожий вопрос на cs.stackexchange.com ( /cs//a/2096/1490 ), а затем нашел этот вопрос. Ответ есть для приблизительного поиска ближайшего соседа на расстоянии редактирования (т. Е. Алгоритм выводит строку, которая примерно так же близка к строке запроса, как и ближайший сосед строки запроса). Я публикую здесь, так как я не нахожу никаких ссылок, которые я дал там в ответах, приведенных здесь.

Я думаю, что вам нужен алгоритм Вагнера-Фишера: https://en.wikipedia.org/wiki/Wagner%E2%80%93Fischer_algorithm Основная идея заключается в том, что, поскольку словарь, через который вы проходите, отсортирован, два слова подряд очень вероятно, что у них будет длинный префикс, поэтому вам не нужно обновлять всю матрицу для каждого расчета расстояния.

Вы можете использовать Вы имели в виду?

А затем найдите расстояние Левенштейна между ответом, возвращаемым «Вы имели в виду» »и строкой ввода, используя динамическое программирование.

Одним из способов является обучение модели машинного обучения для сопоставления слов с векторами и сопоставления расстояния Левенштейна с евклидовым расстоянием. Затем вы можете построить KDTree из векторов для словаря, который вы хотите использовать. Я создал блокнот Jupyter, который делает это здесь: https://gist.github.com/MichaelSnowden/9b8b1e662c98c514d571f4d5c20c3a03

Согласно комментариям DW:

1. процедура обучения = стохастический градиентный спуск с адаптивными градиентами
2. функция потерь = средняя квадратическая ошибка между истинным редактируемым расстоянием и евклидовым расстоянием
3. обучающие данные = случайные строки длиной от 1 до 32 символов (могут быть улучшены с данными, которые соответствуют фактическому распределению общих опечаток)
4. количественные результаты: после обучения примерно 150 эпох с размером партии 2048 (время стены = приблизительно одна минута) с использованием вложения слов 512 измерений с одним скрытым слоем средняя абсолютная ошибка между истинным расстоянием редактирования и прогнозируемым расстоянием редактирования находится на отметке 0,75, что означает, что прогнозируемое расстояние редактирования составляет примерно один символ

Краткое описание структуры модели:

1. Создайте заученное вложение для каждого символа, включая нулевой символ (используется позже для правого отступа текста под лимитом символов)
2. Заполните правую часть текста нулевым символом, пока он не достигнет предела (32)
3. Объединить эти вложения
4. Выполните вложения через нейронную сеть с прямой связью, чтобы получить вложение слова меньшего размера (512-мерное)
5. Сделайте это для обоих слов
6. Найти евклидово расстояние между векторами
7. Установите потерю равной среднеквадратической ошибке между истинным расстоянием Левенштейна и евклидовым расстоянием.

Мои тренировочные данные - это просто случайные строки, но я думаю, что результаты могли бы действительно улучшиться, если бы тренировочные данные были (опечатка / правильное слово) парами. Я просто использовал, /usr/share/dict/wordsпотому что он общедоступен.