Связь между измерением ВК и степенями свободы

Я изучаю машинное обучение и чувствую, что существует тесная связь между концепцией измерения VC и более классической (статистической) концепцией степеней свободы.

Кто-нибудь может объяснить такую ​​связь?

Как заявил профессор Язер Абу-Мостафа

Степени свободы являются абстракцией эффективного числа параметров. Эффективное число основано на том, сколько дихотомий можно получить, а не на том, сколько реальных параметров используется. В случае двумерного персептрона можно думать о наклоне и перехвате (плюс двоичная степень свободы, для которой область переходит в +1), или можно думать о 3 параметрах w_0, w_1, w_2 (хотя веса могут быть одновременно увеличивать или уменьшать, не влияя на полученную гипотезу). Степени свободы, однако, равны 3, потому что у нас есть гибкость, чтобы разбить 3 пункта, а не из-за того или иного подсчета количества параметров.

Измерение VC очень хорошо объяснено в этой статье в разделе 2.1 и далее, с приведением основных лемм и доказательств. Вы можете пройти через это.