k-NN обобщает в очень ограничительном смысле. Он просто использует гладкость априоров (или допущение непрерывности). Это предположение подразумевает, что шаблоны, близкие в пространстве признаков, скорее всего, принадлежат к одному и тому же классу. K-NN не может восстановить функциональную закономерность в распределении паттернов.
Таким образом, он требует репрезентативных обучающих выборок, которые могут быть чрезвычайно большими, особенно в случае пространств пространственных объектов с большими размерами. Хуже того, эти образцы могут быть недоступны. Следовательно, он не может выучить инварианты. Если шаблоны могут подвергаться некоторым преобразованиям без изменения их меток, а обучающая выборка не содержит шаблонов, преобразованных всеми допустимыми способами, k-NN никогда не распознает преобразованные шаблоны, которые не были представлены во время обучения. Это верно, например, для смещенных или повернутых изображений, если они не представлены в некоторой инвариантной форме перед запуском k-NN. k-NN не может даже абстрагироваться от несущественных особенностей.
Еще один несколько искусственный пример. Представьте, что паттерн, принадлежащий разным классам, периодически распределяется (например, в соответствии с синусом - если он меньше 0, то паттерны принадлежат одному классу, а он больше, чем паттерны принадлежат другому классу). Тренировочный набор конечен. Таким образом, он будет расположен в конечной области. За пределами этого региона ошибка распознавания будет 50%. Можно представить логистическую регрессию с периодическими базисными функциями, которые в этом случае будут работать намного лучше. Другие методы смогут изучить другие закономерности в распределении шаблонов и хорошо их экстраполировать.
Итак, если кто-то подозревает, что доступный набор данных не является репрезентативным, и должна быть достигнута инвариантность к некоторым преобразованиям шаблонов, то это тот случай, когда нужно выйти за пределы k-NN.