Это пример переобучения курса Coursera по ML Эндрю Нгом в случае модели классификации с двумя признаками , в которой истинные значения обозначены и и граница принятия решения точно адаптирована к обучающему набору с использованием полиномиальных терминов высокого порядка.× ∘ ,( х1, х2)×∘ ,
Проблема, которую он пытается проиллюстрировать, связана с тем фактом, что, хотя линия принятия решения о границе (криволинейная линия синим цветом) не приводит к неправильной классификации каких-либо примеров, ее способность обобщать из обучающего набора будет поставлена под угрозу. Эндрю Нг продолжает объяснять, что регуляризация может смягчить этот эффект, и рисует пурпурную кривую как границу решения, менее плотную по отношению к обучающему набору и с большей вероятностью обобщающую.
Что касается вашего конкретного вопроса:
Моя интуиция заключается в том, что сине-розовая кривая на самом деле не изображена на этом графике, а скорее представляет собой представление (круги и X), которые отображаются на значения в следующем измерении (третьем) графика.
Высота отсутствует (третье измерение): есть две категории и и линия принятия решений показывает, как модель разделяет их. В более простой модели∘ ) ,( ×, ) ,
часθ( х ) = г( θ0+ θ1Икс1+ θ2Икс2)
граница решения будет линейной.
Возможно, вы имеете в виду что-то вроде этого, например:
5 + 2 х - 1,3 х2- 1,2 х2Y+ 1 х2Y2+ 3 х2Y3
Однако обратите внимание, что в гипотезе есть функция - логистическая активация в вашем первоначальном вопросе. Таким образом, для каждого значения и полиномиальная функция подвергается «активации» (часто нелинейной, например, в сигмовидной функции, как в OP, хотя не обязательно (например, RELU)). В качестве ограниченного вывода активация сигмоидальной формы поддается вероятностной интерпретации: идея в модели классификации заключается в том, что при заданном пороговом значении выход будет помечен как илиФактически, непрерывный вывод будет сведен к двоичному выводу.грамм( ⋅ )Икс1Икс2× (∘ ) .( 1 , 0 )
В зависимости от весов (или параметров) и функции активации каждая точка в плоскости признаков будет отображаться в категорию или . Эта маркировка может быть или не быть правильной: они будут правильными, когда точки в образце, нарисованные и на плоскости на рисунке на ОП соответствуют предсказанные метки. Границы между областями плоскости с меткой и соседними областями с меткой . Они могут быть линией или несколькими линиями, изолирующими «острова» (посмотрите сами, играя с этим приложением Тони Фишетти( х1, х2)×∘×∘×∘часть этой записи в блоге о R-блогерах ).
Обратите внимание на запись в Википедии о границе решения :
В задаче статистической классификации с двумя классами граница решения или поверхность решения - это гиперповерхность, которая разделяет базовое векторное пространство на два набора, по одному для каждого класса. Классификатор будет классифицировать все точки на одной стороне границы решения как принадлежащие одному классу, а все точки на другой стороне как принадлежащие другому классу. Граница решения - это область проблемного пространства, в которой выходная метка классификатора неоднозначна.
Нет необходимости в компоненте высоты для отображения фактической границы. Если, с другой стороны, вы наносите на график значение активации сигмоида (непрерывное с диапазоном тогда вам необходим третий («высота») компонент для визуализации графика:∈ [ 0 , 1] ) ,
Если вы хотите , чтобы ввести визуализацию D для поверхности решений, проверить этот слайд на онлайн курса по Нижегородскому Уго Larochelle , представляющая активацию нейрона:3
где , а - вектор весов в примере в OP. Наиболее интересным является тот факт, что ортогональна разделяющему «гребню» в классификаторе: фактически, если гребень представляет собой (гипер-) плоскость, вектор весов или параметров является вектором нормали.Y1= чθ( х )W( Θ )Θ
Объединяя несколько нейронов, эти разделяющие гиперплоскости могут быть добавлены и вычтены, чтобы получить капризные формы:
Это связано с теоремой универсального приближения .