Как понять степени свободы?

Из Википедии есть три интерпретации степеней свободы статистики:

В статистике количество степеней свободы - это число значений в окончательном расчете статистики, которые можно изменять .

Оценки статистических параметров могут основываться на разных объемах информации или данных. Количество независимых частей информации, которые входят в оценку параметра, называют степенями свободы (df). Как правило, степени свободы оценки параметра равны количеству независимых оценок, которые входят в оценку, за вычетом количества параметров, используемых в качестве промежуточных шагов при оценке самого параметра (который в выборочной дисперсии равен один, поскольку выборочное среднее значение является единственным промежуточным этапом).

Математически, степени свободы - это размер области случайного вектора или, по сути, количество «свободных» компонентов: сколько компонентов необходимо знать, прежде чем вектор будет полностью определен .

Смелые слова - это то, что я не совсем понимаю. Если возможно, некоторые математические формулировки помогут прояснить концепцию.

Также согласуются ли эти три интерпретации друг с другом?

Это тонкий вопрос. Требуется вдумчивый человек, чтобы не понимать эти цитаты! Хотя они наводят на размышления, оказывается, что ни один из них не является точным или в целом правильным. У меня нет времени (и здесь нет места), чтобы дать полное изложение, но я хотел бы поделиться одним подходом и пониманием, которое он предлагает.

Где возникает понятие степеней свободы (DF)? Контексты, в которых это найдено в элементарных обработках:

• Т-критерий Стьюдента и его варианты , такие как решения Welch или Саттервейта к проблеме Беренса-Фишера (где две популяции имеют различные отклонения).

• Распределение хи-квадрат (определяется как сумма квадратов независимых стандартных нормалей), которое влияет на выборочное распределение дисперсии.

• F-тест (соотношения предполагаемых отклонений).

• Chi-квадрат тест , содержащий его применение в (а) тестировании независимости в таблицах сопряженности и (б) тестирование на доброту приступа распределительных оценок.

По духу, эти тесты охватывают диапазон от точных (t-критерий Стьюдента и F-критерий для нормальных вариаций) до хороших приближений (t-критерий Стьюдента и Уэлч / Саттервейт для не слишком сильно искаженных данных ) на основе асимптотических приближений (критерий хи-квадрат). Интересным аспектом некоторых из них является появление нецелых «степеней свободы» (тесты Уэлча / Саттерсвэйта и, как мы увидим, критерий хи-квадрат). Это представляет особый интерес, потому что это первый намек на то, что DF - это не то, что от него требуется.

Мы можем сразу решить некоторые из претензий в вопросе. Поскольку «окончательное вычисление статистики» не является четко определенным (оно, очевидно, зависит от того, какой алгоритм используется для расчета), оно может быть не более чем смутным предложением и не заслуживает дальнейшей критики. Точно так же ни «количество независимых оценок, которые входят в оценку», ни «количество параметров, используемых в качестве промежуточных шагов», не являются четко определенными.

С «независимыми частями информации, которые входят в [оценку]» , трудно иметь дело, потому что есть два разных, но тесно связанных между собой смысла «независимости», которые могут быть здесь уместны. Одним из них является независимость от случайных величин; другая - это функциональная независимость. В качестве примера последнего предположим, что мы собираем морфометрические измерения предметов - скажем, для простоты, три стороны длины , Y , Z , площади поверхности S = 2 ( X Y + Y Z + Z X ) и объемы V = X Y $X$$Y$$Z$$S=2(XY+YZ+ZX)$$V=XYZ$из набора деревянных блоков. Три стороны длины могут рассматриваться как независимые случайные величины, но все пять переменных являются зависимыми RV. Эти пять также функционально зависимы, потому что кодомен (а не «домен»!) Векторной случайной величины прослеживает трехмерное многообразие в R 5 . (Таким образом, локально в любой точке ω ∈ R 5 существуют две функции f ω и g ω, для которых f $(X,Y,Z,S,V)$$\mathbb{R}^5$$\omega\in\mathbb{R}^5$$f_\omega$$g_\omega$ и g ω ( X ( ψ ) , … , V ( ψ ) ) = 0 для точек ψ «около» ω и производных функций f и g, оцененных при ω являются линейно независимыми.) Однако - вот кикер - для многих вероятностных мер на блоках, подмножествах переменных, таких как ( X $f_\omega(X(\psi),\ldots,V(\psi))=0$$g_\omega(X(\psi),\ldots,V(\psi))=0$$\psi$$\omega$$f$$g$$\omega$ являютсязависимымикак случайные величиныно функциональнонезависимы.$(X,S,V)$

Получив предупреждение об этих потенциальных двусмысленностях, давайте проведем тест на пригодность по критерию хи-квадрат для экзамена , потому что (а) это просто, (б) это одна из распространенных ситуаций, когда людям действительно нужно знать о ФР, чтобы получить p-значение right и (c) оно часто используется неправильно. Вот краткий обзор наименее противоречивого применения этого теста:

• У вас есть коллекция значений данных , рассматриваемая как выборка совокупности.$(x_1, \ldots, x_n)$

• Вы оценили некоторые параметры распределения. Например, вы оценили среднее значение θ 1 и стандартное отклонение θ 2 = θ p нормального распределения, предположив, что популяция распределена нормально, но не зная (до получения данных), какими могут быть θ 1 или θ 2 .$\theta_1, \ldots, \theta_p$$\theta_1$$\theta_2 = \theta_p$$\theta_1$$\theta_2$

• Заранее вы создали набор из «корзин» для данных. (Это может быть проблематично, когда ячейки определяются данными, даже если это часто делается.) Используя эти ячейки, данные сводятся к набору счетчиков в каждой ячейке. Предвидя, какие могут быть истинные значения ( θ ) , вы упорядочили его так, чтобы (надеюсь) каждый бин получал примерно одинаковое количество. (Биннинг с равной вероятностью гарантирует, что распределение хи-квадрат действительно является хорошим приближением к истинному распределению статистики хи-квадрат, которая будет описана.)$k$$(\theta)$

• У вас есть много данных - достаточно, чтобы убедиться, что почти во всех корзинах должно быть 5 или больше. (Это, мы надеемся, позволит распределению выборки статистики адекватно аппроксимироваться некоторым распределением χ 2. )$\chi^2$$\chi^2$

Используя оценки параметров, вы можете вычислить ожидаемое количество в каждом бине. Хи-квадрат статистика является суммой отношений

$$\frac{(\text{observed}-\text{expected})^2}{\text{expected}}.$$

Это, как говорят нам многие авторитеты, должно иметь (в очень близком приближении) распределение хи-квадрат. Но есть целая семья таких распределений. Они различаются по параметру часто называемому «степенями свободы». Стандартное рассуждение о том, как определить ν, выглядит следующим образом$\nu$$\nu$

У меня есть отсчетов. Это k частей данных. Но между ними есть ( функциональные ) отношения. Для начала я заранее знаю, что сумма отсчетов должна равняться n . Это одно отношение. Я оценил два (или p , в общем) параметра из данных. Это два (или p ) дополнительных отношения, что дает p + 1 общее количество отношений. Предполагая, что они (параметры) все ( функционально ) независимы, что оставляет только k - p - 1 ( функционально ) независимых «степеней свободы»: это значение, которое нужно использовать для$k$$k$$n$$p$$p$$p+1$$k-p-1$ .$\nu$

Проблема с этим рассуждением (который является своего рода расчетом, на который намекают цитаты в вопросе) состоит в том, что это неправильно, за исключением случаев, когда выполняются некоторые специальные дополнительные условия. Более того, эти условия не имеют ничего общего с независимостью (функциональной или статистической), количеством «компонентов» данных, количеством параметров или чем-либо еще, упомянутым в исходном вопросе.

Позвольте мне показать вам пример. (Чтобы сделать это как можно более понятным, я использую небольшое количество бинов, но это не обязательно.) Давайте сгенерируем 20 независимых и одинаково распределенных (iid) стандартных нормальных переменных и оценим их среднее и стандартное отклонение с помощью обычных формул ( среднее = сумма / количество и т . д.). Чтобы проверить правильность подгонки, создайте четыре ячейки с точками среза в квартилях стандартной нормали: -0,675, 0, +0,657 и используйте счетчики для получения статистики хи-квадрат. Повторите, как позволяет терпение; Я успел сделать 10 000 повторений.

Стандартная мудрость относительно DF гласит, что у нас есть 4 корзины и 1 + 2 = 3 ограничения, подразумевая, что распределение этих 10 000 статистик хи-квадрат должно следовать распределению хи-квадрат с 1 DF. Вот гистограмма:

Темно-синие линии представляют собой график распределения как мы думали, сработает, а темно-красные линии показывают распределение χ 2 ( 2 ) (что было бы хорошим предположением, если бы кто-то сказать, что ν = 1 неверно). Ни один не соответствует данным.$\chi^2(1)$$\chi^2(2)$$\nu=1$

Вы можете ожидать, что проблема связана с небольшим размером наборов данных ( = 20) или, возможно, небольшим размером количества бинов. Однако проблема сохраняется даже при очень больших наборах данных и большем числе элементов разрешения: это не просто неспособность достичь асимптотического приближения.$n$

Все пошло не так, потому что я нарушил два требования критерия хи-квадрат:

1. Вы должны использовать оценку максимального правдоподобия параметров. (На практике это требование может быть слегка нарушено.)

2. Вы должны основывать эту оценку на счетах, а не на фактических данных! (Это очень важно .)

Красная гистограмма показывает статистику хи-квадрат для 10 000 отдельных итераций, следуя этим требованиям. Конечно же, он явно следует кривой (с приемлемой величиной ошибки выборки), как мы изначально надеялись.$\chi^2(1)$

Смысл этого сравнения - что я надеюсь , что вы уже видели приход - это то , что правильный DF использовать для вычисления р-значений зависит от многих вещей , других , чем размеры коллекторов, эпизоды функциональных отношений, или геометрия нормальных случайных величин , Существует тонкое, деликатное взаимодействие между определенными функциональными зависимостями, которые обнаруживаются в математических отношениях между величинами, и распределениями данных, их статистикой и оценками, сформированными из них. Соответственно, не может быть случая, чтобы DF адекватно объяснимо с точки зрения геометрии многомерных нормальных распределений, или с точки зрения функциональной независимости, или в виде количества параметров, или чего-либо еще такого рода.

Таким образом, мы видим, что «степени свободы» - это просто эвристика, которая указывает, каким должно быть выборочное распределение статистики (t, хи-квадрат или F), но оно не является диспозитивным. Вера в то, что это диспозитивно, ведет к вопиющим ошибкам. (Например, наибольшим успехом в Google при поиске «добротности хи-квадрат» является веб-страница из университета Лиги плюща, в которой большая часть этого совершенно неверна! В частности, симуляция, основанная на его инструкциях, показывает, что хи-квадрат значение, которое он рекомендует, поскольку наличие 7 DF на самом деле имеет 9 DF.)

С этим более тонким пониманием, стоит перечитать соответствующую статью в Википедии: в ее деталях все правильно, указав, где работает эвристика DF и где она либо приближенная, либо не применяется вообще.

---

Хороший отчет о явлении, показанном здесь (неожиданно высокий DF в тестах GOF в хи-квадрат), появляется во втором томе Kendall & Stuart, 5-е издание . Я благодарен за предоставленную этим вопросом возможность привести меня к этому замечательному тексту, который полон таких полезных анализов.

---

Изменить (январь 2017)

Вот Rкод для создания фигуры, следующей за «Стандартной мудростью о ДФ ...»

#
# Simulate data, one iteration per column of `x`.
#
n <- 20
n.sim <- 1e4
bins <- qnorm(seq(0, 1, 1/4))
x <- matrix(rnorm(n*n.sim), nrow=n)
#
# Compute statistics.
#
m <- colMeans(x)
s <- apply(sweep(x, 2, m), 2, sd)
counts <- apply(matrix(as.numeric(cut(x, bins)), nrow=n), 2, tabulate, nbins=4)
expectations <- mapply(function(m,s) n*diff(pnorm(bins, m, s)), m, s)
chisquared <- colSums((counts - expectations)^2 / expectations)
#
# Plot histograms of means, variances, and chi-squared stats.  The first
# two confirm all is working as expected.
#
mfrow <- par("mfrow")
par(mfrow=c(1,3))
red <- "#a04040"  # Intended to show correct distributions
blue <- "#404090" # To show the putative chi-squared distribution
hist(m, freq=FALSE)
curve(dnorm(x, sd=1/sqrt(n)), add=TRUE, col=red, lwd=2)
hist(s^2, freq=FALSE)
curve(dchisq(x*(n-1), df=n-1)*(n-1), add=TRUE, col=red, lwd=2)
hist(chisquared, freq=FALSE, breaks=seq(0, ceiling(max(chisquared)), 1/4), 
     xlim=c(0, 13), ylim=c(0, 0.55), 
     col="#c0c0ff", border="#404040")
curve(ifelse(x <= 0, Inf, dchisq(x, df=2)), add=TRUE, col=red, lwd=2)
curve(ifelse(x <= 0, Inf, dchisq(x, df=1)), add=TRUE, col=blue, lwd=2)
par(mfrow=mfrow)

Или просто: количество элементов в числовом массиве, которое вы можете изменить, чтобы значение статистики оставалось неизменным.

# for instance if:
x + y + z = 10

Вы можете изменить, например, х и у в случайном порядке, но вы не можете изменить г (можно, но не в случайном порядке, поэтому вы не свободны , чтобы изменить его - см комментарий Харви), потому что вы измените значение статистики (Σ = 10). Итак, в этом случае df = 2.

Эта концепция совсем не трудно сделать математически точной, если немного разбираться в мерной евклидовой геометрии, подпространствах и ортогональных проекциях.$n$

Если - ортогональная проекция из R n в p -мерное подпространство L и x - произвольный n- вектор, то P x находится в $P$$\mathbb{R}^n$$p$$L$$x$$n$$Px$$L$ , и P x ортогональны, а x - P x ∈ L ⊥ находится в ортогональное дополнение L . Размерность этого ортогонального дополнения, L ⊥ , является п - р . Если$x - Px$$Px$$x - Px \in L^{\perp}$$L$$L^{\perp}$$n-p$ может свободно изменяться в n- мерном пространстве, тогда x - P x может свободно изменяться в n - p- мерном пространстве. По этой причине мы говорим, что x - P x имеет n - p степеней свободы.$x$$n$$x - Px$$n-p$$x - Px$$n-p$

Эти соображения важны для статистики, потому что если $X$ - мерный случайный вектор, а L - модель его среднего значения, то есть средний вектор E ( X ) находится в L , то мы будем называть X - P X вектором невязок. и мы используем остатки для оценки дисперсии. Вектор невязок имеет n - p степеней свободы, то есть он ограничен подпространством размерности n - p .$n$$L$$E(X)$$L$$X-PX$$n-p$$n-p$

Если координаты независимы и нормально распределены с одинаковой дисперсией σ 2, то$X$$\sigma^2$

• Векторы и X - P X независимы.$PX$$X - PX$
• Если то распределение квадрата нормы вектора невязок | | X - P X | | 2 представляет собой χ 2 -распределение с масштабным параметром σ 2 и другим параметром, который оказывается степенями свободы n - p .$E(X) \in L$$||X - PX||^2$$\chi^2$$\sigma^2$$n-p$

Эскиз доказательства этих фактов приведен ниже. Эти два результата являются центральными для дальнейшего развития статистической теории, основанной на нормальном распределении. Отметим также, что именно поэтому -распределение имеет параметризацию, которой оно обладает. Это также Γ -распределение с масштабным параметром 2 σ 2 и параметром формы ( n - p ) / 2 , но в контексте выше естественно параметризовать в терминах степеней свободы.$\chi^2$$\Gamma$$2\sigma^2$$(n-p)/2$

Я должен признать, что я не нахожу ни одного из пунктов, процитированных из статьи Википедии, особенно поучительным, но они также не являются действительно неправильными или противоречивыми. Они говорят неточно и в общем смысле, что когда мы вычисляем оценку параметра дисперсии, но делаем это на основе невязок, мы основываем вычисления на векторе, который может свободно изменяться только в пространстве размерности .$n-p$

Помимо теории линейных нормальных моделей, использование понятия степеней свободы может сбивать с толку. Это, например, используется в параметризации -распределения ли или нет есть ссылка на все , что может иметь какие - либо степени свободы. Когда мы рассматриваем статистический анализ категориальных данных, может возникнуть некоторая путаница относительно того, следует ли считать «независимые части» до или после табулирования. Кроме того, для ограничений, даже для нормальных моделей, которые не являются подпространственными ограничениями, не очевидно, как расширить понятие степеней свободы. Различные предложения существуют обычно под названием эффективных степеней свободы.$\chi^2$

Прежде чем рассматривать любые другие применения и значения степеней свободы, я настоятельно рекомендую убедиться в этом в контексте линейных нормальных моделей. Ссылка, касающаяся этого модельного класса, - «Первый курс по теории линейных моделей» , и в предисловии к этой книге есть дополнительные ссылки на другие классические книги по линейным моделям.

Доказательство приведенных выше результатов. Пусть , заметьте, что матрица дисперсий σ 2 I, и выберите ортонормированный базис z 1 , … , z p из L и ортонормированный базис z p + 1 , … , z n из L ⊥ . Тогда z 1 , … , z n является ортонормированным базисом R n . Пусть ~ $\xi = E(X)$$\sigma^2 I$$z_1, \ldots, z_p$$L$$z_{p+1}, \ldots, z_n$$L^{\perp}$$z_1, \ldots, z_n$$\mathbb{R}^n$$\tilde{X}$ обозначим -вектор коэффициентов X в этом базисе, то есть ˜ X i = z T i$n$$X$ Это также можно записать в виде ˜ X = Z T X, где Z - ортогональная матрица с. Это следует из общих результатов линейного преобразования нормального распределения. Базис был выбран таким образом, чтобы коэффициенты P X были ˜ X i для i = 1 , … , p , а коэффициенты X - P X были ˜

$$\tilde{X}_i = z_i^T X.$$ $\tilde{X} = Z^T X$$Z$ в столбцах. Тогда мы должны использовать, что ˜ X имеет нормальное распределение со средним Z T ξ и, поскольку Z ортогональна, матрица дисперсий σ 2$z_i$$\tilde{X}$$Z^T \xi$$Z$$\sigma^2 I$$PX$$\tilde{X}_i$$i= 1, \ldots, p$$X - PX$ для i = p + 1 , … , n . Поскольку коэффициенты некоррелированы и совместно нормальны, они независимы, и это означает, что P X = p ∑$\tilde{X}_i$$i= p+1, \ldots, n$ и X-PX= n ∑ i = p + 1 ˜ X izi независимы. Кроме того, | | X-PX| | 2= n ∑ i = p + 1 ˜ X 2 i . Еслиξ∈L,тоE( ˜ X $$PX = \sum_{i=1}^p \tilde{X}_i z_i$$ $$X - PX = \sum_{i=p+1}^n \tilde{X}_i z_i$$ $$||X - PX||^2 = \sum_{i=p+1}^n \tilde{X}_i^2.$$ $\xi \in L$ для i = p + 1 , … , n, потому что тогда z i$E(\tilde{X}_i) = z_i^T \xi = 0$$i = p +1, \ldots, n$ и, следовательно, z i ⊥ ξ . В этом случае | $z_i \in L^{\perp}$$z_i \perp \xi$ - сумма n - p независимых N ( 0 , σ 2$||X - PX||^2$$n-p$$N(0, \sigma^2)$-распределенные случайные величины, распределение которых по определению является -распределением с масштабным параметром σ 2 и n - p степеней свободы.$\chi^2$$\sigma^2$$n-p$

Это на самом деле не отличается от того, как работает термин «степени свободы» в любой другой области. Например, предположим, что у вас есть четыре переменные: длина, ширина, площадь и периметр прямоугольника. Вы действительно знаете четыре вещи? Нет, потому что есть только две степени свободы. Если вы знаете длину и ширину, вы можете получить площадь и периметр. Если вы знаете длину и площадь, вы можете получить ширину и периметр. Если вы знаете площадь и периметр, вы можете определить длину и ширину (до поворота). Если у вас есть все четыре, вы можете сказать, что система непротиворечива (все переменные согласуются друг с другом), или непоследовательна (ни один прямоугольник не может фактически удовлетворить все условия). Квадрат - это прямоугольник с удаленной степенью свободы;

В статистике все становится более размытым, но идея остается прежней. Если все данные, которые вы используете в качестве входных данных для функции, являются независимыми переменными, то у вас столько же степеней свободы, сколько у вас входных данных. Но если они каким-то образом имеют зависимость, например, если у вас есть n - k входов, вы можете вычислить оставшиеся k, то на самом деле вы получите только n - k степеней свободы. И иногда вам необходимо принять это во внимание, чтобы не убедить себя в том, что данные более надежны или обладают большей прогнозирующей способностью, чем на самом деле, путем подсчета большего количества точек данных, чем у вас есть независимые биты данных.

(Взято из поста на http://www.reddit.com/r/math/comments/9qbut/could_someone_explain_to_me_what_degrees_of/c0dxtbq?context=3 .)

Более того, все три определения почти пытаются дать одно и то же сообщение.

Мне действительно нравится первое предложение из «Маленького справочника статистической практики». Степени свободы Глава

Один из вопросов, которого инструктор боится больше всего от математически неискушенной аудитории, звучит так: «Что такое степень свободы?»

Я думаю, что вы можете действительно хорошо понять степень свободы, прочитав эту главу.

Википедия утверждает , что степень свободы в случайного вектора может быть интерпретирована как размеры векторного подпространства. Я хочу пройти шаг за шагом, в основном, через это как частичный ответ и подробное описание статьи в Википедии.

Предложенный пример - случайный вектор, соответствующий измерениям непрерывной переменной для разных субъектов, выраженный как вектор, идущий от начала координат . Его ортогональная проекция на вектор$[a\,b\,c]^T$ приводит к векторуравные проекции вектора средства измерения ( ˉ х = 1 / 3 ( + б + гр ) ), то есть [ ˉ $[1\,1\,1]^T$$\bar{x}=1/3(a+b+c)$, усеянныйвектором → 1 ,[$[\bar x \, \bar x \, \bar x]^T$$\vec{1}$ Эта проекция на подпространство, натянутое на вектор единиц, имеет$[1\,1\,1]^T$ . Остаточныйвектор (расстояние от среднего) является проекцией наималейших квадратов на ( п - 1 ) nмерного ортогонального дополнение этого подпространства, и имеет п $1\,\text{degree of freedom}$$(n − 1)$ , n - общее число компонент вектора (в нашем случае 3, посколькув примеремы находимся в R 3 ). Это можно просто доказать, получив скалярное произведение [ ˉ $n − 1\,\text{degrees of freedom}$$n$$3$$\mathbb{R}^3$с разницей между[$[\bar{x}\,\bar{x}\,\bar{x}]^T$ и [ ˉ $[a\,b\,c]^T$:$[\bar{x}\,\bar{x}\,\bar{x}]^T$

$$[\bar{x}\, \bar{x}\,\bar{x}]\, \begin{bmatrix} a-\bar{x}\\b-\bar{x}\\c-\bar{x}\end{bmatrix}=$$

$$= \bigg[\tiny\frac{(a+b+c)}{3}\, \bigg(a-\frac{(a+b+c)}{3}\bigg)\bigg]+ \bigg[\tiny\frac{(a+b+c)}{3} \,\bigg(b-\frac{(a+b+c)}{3}\bigg)\bigg]+ \bigg[\tiny\frac{(a+b+c)}{3} \,\bigg(c-\frac{(a+b+c)}{3}\bigg)\bigg]$$

$$=\tiny \frac{(a+b+c)}{3}\bigg[ \bigg(\tiny a-\frac{(a+b+c)}{3}\bigg)+ \bigg(b-\frac{(a+b+c)}{3}\bigg)+ \bigg(c-\frac{(a+b+c)}{3}\bigg)\bigg]$$

$$= \tiny \frac{(a+b+c)}{3}\bigg[\tiny \frac{1}{3} \bigg(\tiny 3a-(a+b+c)+ 3b-(a+b+c)+3c-(a+b+c)\bigg)\bigg]$$

.

$$=\tiny\frac{(a+b+c)}{3}\bigg[\tiny\frac{1}{3} (3a-3a+ 3b-3b+3c-3c)\bigg]\large= 0$$

И это соотношение распространяется на любую точку на плоскости, ортогональной к . Эта концепция важна для понимания, почему$[\bar{x}\,\bar{x}\,\bar{x}]^T$ , шаг при выводе распределение Стьюдента (здесьиздесь).$\frac 1 {\sigma^2} \Big((X_1-\bar X)^2 + \cdots + (X_n - \bar X)^2 \Big) \sim \chi^2_{n-1}$

Давайте возьмем точку , что соответствует трем наблюдениям. Среднее значение составляет 55 , а вектор [ $[35\,50\,80]^T$$55$ является нормальным (ортогональной) к плоскости, 55 х + 55 г + 55 г = D . Включение координат точки в уравнение плоскости, D = - 9075 .$[55\,\,55\,\,55]^T$$55x + 55y + 55z = D$$D = -9075$

Теперь мы можем выбрать любую другую точку в этой плоскости, и среднее значение ее координат будет равно , геометрически соответствующему ее проекции на вектор [ $55$ . Следовательно, для каждого среднего значения (в нашем примере 55 ) мы можем выбрать бесконечное числопаркоординат в R 2 без ограничения ($[1\,\,1\,\,1]^T$$55$$\mathbb{R}^2$ ); тем не менее, поскольку плоскость находится в R 3 , третья координата будет определяться уравнением плоскости (или, геометрически, ортогональной проекцией точки на [ $2\,\text{degrees of freedom}$$\mathbb{R}^3$ .$[55\,\,55\,\,55]^T$

Вот представление трех точек (белым цветом), лежащих на плоскости (церулеановый синий), ортогональной к (стрелка): [ $[55\,\,55\,\,55]^T$ , [ $[35\,\,50\,\,80]^T$ и [ $[80\,\,80\,\,5]$ все они на плоскости (подпространство с$[90\,\,15\,\,60]$ ), а затем со средним их составляющих 55 и ортогональной проекцией на [ $2\,\text{df}$$55$ (подпространство с$[1\,\,1\,\,1]^T$ ) равно [ $1\,\text{df}$ :$[55\,\,55\,\,55]^T$

На моих занятиях я использую одну «простую» ситуацию, которая может помочь вам задаться вопросом и, возможно, развить интуитивное чувство того, что может означать степень свободы.

Это своего рода «Forrest Gump» подход к теме, но это стоит попробовать.

Предположим, у вас есть 10 независимых наблюдений которые пришли прямо из нормальной популяции, среднее значение которой$X_1, X_2, \ldots, X_{10}\sim N(\mu,\sigma^2)$ и дисперсией σ 2 неизвестны.$\mu$$\sigma^2$

Ваши наблюдения приносят вам собирательно информацию как о и σ 2 . В конце концов, ваши наблюдения имеют тенденцию распространяться вокруг одного центрального значения, которое должно быть близко к фактическому и неизвестному значению μ, а также, если μ очень высокое или очень низкое, вы можете ожидать, что ваши наблюдения соберутся вокруг очень высокое или очень низкое значение соответственно. Один хороший «заменитель» для μ (при отсутствии знания его действительного значения)$\mu$$\sigma^2$$\mu$$\mu$$\mu$ , среднее значение вашего наблюдения. $\bar X$

Кроме того, если ваши наблюдения очень близки друг к другу, это указывает на то, что вы можете ожидать, что должно быть небольшим, и, аналогично, если σ 2 очень велико, то вы можете ожидать увидеть дико отличающиеся значения для X $\sigma^2$$\sigma^2$$X_1$ до . $X_{10}$

Если бы вы поставили ставку за неделю, в которой должны быть фактические значения и σ 2 , вам нужно будет выбрать пару значений, в которую вы будете ставить свои деньги. Давайте не будем думать о чем-то столь драматичном, как потеря вашей зарплаты, если вы не угадаете μ правильно до его 200-й десятичной позиции. Нет. Давайте подумаем о некоторой призовой системе, которая чем ближе вы угадываете μ и σ 2, тем больше вы получаете вознаграждение.$\mu$$\sigma^2$$\mu$$\mu$$\sigma^2$

В каком - то смысле, ваш лучше, более информированы и более вежливы догадка для значения «ы могут быть ˉ X . В этом смысле, вы оценить , что μ должно быть некоторое значение вокруг ˙ X . Точно так же, одной хорошей «заменой» для σ 2 (пока не требуется) является S 2 , ваша выборочная дисперсия, которая дает хорошую оценку для σ .$\mu$$\bar X$$\mu$$\bar X$$\sigma^2$$S^2$$\sigma$

Если ваши были уверены , что эти заменители фактические значения и сг 2 , вы, вероятно , будет неправильно, потому что очень тонкий шансы , что вы были так повезло , что ваши наблюдения координируются себя , чтобы вы даром ˉ X равны до μ и S 2 равны σ 2 . Нет, наверное, этого не произошло.$\mu$$\sigma 2$$\bar X$$\mu$$S^2$$\sigma^2$

Но вы можете ошибаться на разных уровнях: от немного неправильного до действительно, действительно, действительно ужасно неправильного (иначе, пока, зарплата; до следующей недели!).

Хорошо, допустим, вы взяли качестве предположения для μ . Рассмотрим только два сценария: S 2 = 2 и S 2 = 20 , 000 , 000 . Во-первых, ваши наблюдения сидят красиво и близко друг к другу. В последнем ваши наблюдения сильно различаются. В каком сценарии вы должны быть более обеспокоены своими потенциальными потерями? Если вы подумали о втором, вы правы. Оценка σ 2 очень разумно меняет вашу уверенность в ставке, поскольку чем больше σ 2 , тем шире вы можете ожидать ˉ $\bar X$$\mu$$S^2=2$$S^2=20,000,000$$\sigma^2$$\sigma^2$$\bar X$ варьировать.

$\mu$$\sigma^2$$\mu$$\sigma^2$

Как вы можете это заметить?

$\mu$$\sigma$

А вот и досадный поворот сюжета этой лизергической истории: он говорит вам об этом после того, как вы сделали ставку. Возможно, чтобы просветить вас, возможно, чтобы подготовить вас, возможно, чтобы насмехаться над вами. Как ты мог знать?

$\mu$$\sigma^2$$\bar X$$S^2$$\mu$$\sigma^2$

$\mu$$\bar X$$(\bar X - \mu)$

Ну, так как , то ˉ X ~ N ( μ , σ 2 / +10 ) (поверьте мне , что если вы будете), а также ( $X_i\sim N(\mu,\sigma^2)$$\bar X\sim N(\mu,\sigma^2/10)$$(\bar X - \mu)\sim N(0,\sigma^2/10)$

$$\frac{\bar X - \mu}{\sigma/\sqrt{10}} \sim N(0,1)$$ $\mu$$\sigma^2$

$\mu$$(X_i-\mu)$$N(0,\sigma^2)$$\mu$$\bar X$$X_i$$\bar X$$Var(\bar X) = \sigma^2/10 < \sigma^2 = Var(X_i)$$\bar X$$\mu$$X_i$

$(X_i-\mu)/\sigma\sim N(0,1)$$\mu$$\sigma^2$

$\mu$$\sigma^2$

[Я предпочитаю думать, что вы думаете о последнем.]

Да, есть!

$\mu$$X_i$$\sigma$

$$\frac{(X_i-\mu)^2}{\sigma^2} = \left(\frac{X_i-\mu}{\sigma}\right)^2 \sim \chi^2$$ $Z^2$$Z\sim N(0,1)$$\mu$$\sigma^2$

$$\frac{(\bar X-\mu)^2}{\sigma^2/10} = \left(\frac{\bar X-\mu}{\sigma/\sqrt{10}}\right)^2 = \left(N(0,1)\right)^2 \sim\chi^2$$ $$\sum_{i=1}^{10} \frac{(X_i-\mu)^2}{\sigma^2/10} =\sum_{i=1}^{10} \left(\frac{X_i-\mu}{\sigma/\sqrt{10}}\right)^2 =\sum_{i=1}^{10} \left(N(0,1)\right)^2 =\sum_{i=1}^{10} \chi^2.$$ $X_1, \ldots, X_{10}$). Каждое из этих единичных распределений хи-квадрат - это один вклад в количество случайной изменчивости, с которым вы должны ожидать, с примерно таким же количеством вклада в сумму.

Ценность каждого вклада математически не равна остальным девяти, но все они имеют одинаковое ожидаемое поведение при распределении. В этом смысле они как-то симметричны.

Каждый из этих хи-квадратов является одним вкладом в сумму чистой случайной изменчивости, которую вы должны ожидать в этой сумме.

Если бы у вас было 100 наблюдений, можно ожидать, что сумма выше будет больше только потому, что у нее будет больше источников .

Каждый из этих «источников вклада» с одинаковым поведением можно назвать степенью свободы .

Теперь сделайте один или два шага назад, перечитайте предыдущие параграфы, если это необходимо, чтобы приспособиться к внезапному появлению желаемой степени свободы .

$\mu$$\sigma^2$

Дело в том, что вы начинаете рассчитывать на поведение этих 10 эквивалентных источников изменчивости. Если бы у вас было 100 наблюдений, у вас было бы 100 независимых источников с одинаковым поведением и строго случайных колебаний к этой сумме.

$\chi^2_{10}$$\chi^2_1$

$\mu$$\sigma^2$

$\mu$$\sigma^2$

Вещи начинают становиться странными (Хахахаха; только сейчас!), Когда вы восстаете против Бога и пытаетесь ладить сами, не ожидая, что Он покровительствует вам.

$\bar X$$S^2$$\mu$$\sigma^2$

$\bar X$$S^2$$\mu$$\sigma^2$

$$\sum_{i=1}^{10} \frac{(X_i-\bar X)^2}{S^2/10} =\sum_{i=1}^{10} \left(\frac{X_i-\bar X}{S/\sqrt{10}}\right)^2,$$

$\mu$$(X_i-\mu) > 0$$\sum_{i=1}^{10}(X_i-\mu) > 0$$\sum_{i=1}^{10}(X_i-\bar X) = 0$$\sum_{i=1}^{10}X_i-10 \bar X =10 \bar X - 10 \bar X = 0$

$\sum_{i=1}^{10}(X_i-\bar X)^2 \le \sum_{i=1}^{10}(X_i-\mu)^2$

$$\frac{X_i-\bar X}{S/\sqrt{10}}$$ $$\frac{(X_i-\bar X)^2}{S^2/10}$$ $$\sum_{i=1}^{10} \frac{(X_i-\bar X)^2}{S^2/10}$$ $$\frac{\bar X-\mu}{S/\sqrt{10}}$$

"Это было все даром?"

$$\sum_{i=1}^{10} \frac{(X_i-\bar X)^2}{\sigma^2} =\sum_{i=1}^{10} \frac{[X_i-\mu+\mu-\bar X]^2}{\sigma^2} =\sum_{i=1}^{10} \frac{[(X_i-\mu)-(\bar X-\mu)]^2}{\sigma^2} =\sum_{i=1}^{10} \frac{(X_i-\mu)^2-2(X_i-\mu)(\bar X-\mu)+(\bar X-\mu)^2}{\sigma^2} =\sum_{i=1}^{10} \frac{(X_i-\mu)^2-(\bar X-\mu)^2}{\sigma^2} =\sum_{i=1}^{10} \frac{(X_i-\mu)^2}{\sigma^2}-\sum_{i=1}^{10} \frac{(\bar X-\mu)^2}{\sigma^2} =\sum_{i=1}^{10} \frac{(X_i-\mu)^2}{\sigma^2}-10\frac{(\bar X-\mu)^2}{\sigma^2} =\sum_{i=1}^{10} \frac{(X_i-\mu)^2}{\sigma^2}-\frac{(\bar X-\mu)^2}{\sigma^2/10}$$ or, equivalently, $$\sum_{i=1}^{10} \frac{(X_i-\mu)^2}{\sigma^2} =\sum_{i=1}^{10} \frac{(X_i-\bar X)^2}{\sigma^2} +\frac{(\bar X-\mu)^2}{\sigma^2/10}.$$ Now we get back to those known faces.

The first term has Chi-squared distribution with 10 degrees of freedom and the last term has Chi-squared distribution with one degree of freedom(!).

We simply split a Chi-square with 10 independent equally-behaved sources of variability in two parts, both positive: one part is a Chi-square with one source of variability and the other we can prove (leap of faith? win by W.O.?) to be also a Chi-square with 9 (= 10-1) independent equally-behaved sources of variability, with both parts independent from one another.

This is already a good news, since now we have its distribution.

Alas, it uses $\sigma^2$, to which we have no access (recall that God is amusing Himself on watching our struggle).

Well,

$$S^2=\frac{1}{10-1}\sum_{i=1}^{10} (X_i-\bar X)^2,$$ so $$\sum_{i=1}^{10} \frac{(X_i-\bar X)^2}{\sigma^2} =\frac{\sum_{i=1}^{10} (X_i-\bar X)^2}{\sigma^2} =\frac{(10-1)S^2}{\sigma^2} \sim\chi^2_{(10-1)}$$ therefore $$\frac{\bar X-\mu}{S/\sqrt{10}} =\frac{\frac{\bar X-\mu}{\sigma/\sqrt{10}}}{\frac{S}{\sigma}} =\frac{\frac{\bar X-\mu}{\sigma/\sqrt{10}}}{\sqrt{\frac{S^2}{\sigma^2}}} =\frac{\frac{\bar X-\mu}{\sigma/\sqrt{10}}}{\sqrt{\frac{\frac{(10-1)S^2}{\sigma^2}}{(10-1)}}} =\frac{N(0,1)}{\sqrt{\frac{\chi^2_{(10-1)}}{(10-1)}}},$$ which is a distribution that is not the standard normal, but whose density can be derived from the densities of the standard normal and the Chi-squared with $(10-1)$ degrees of freedom.

One very, very smart guy did that math[^1] in the beginning of 20th century and, as an unintended consequence, he made his boss the absolute world leader in the industry of Stout beer. I am talking about William Sealy Gosset (a.k.a. Student; yes, that Student, from the $t$ distribution) and Saint James's Gate Brewery (a.k.a. Guinness Brewery), of which I am a devout.

[^1]: @whuber told in the comments below that Gosset did not do the math, but guessed instead! I really don't know which feat is more surprising for that time.

That, my dear friend, is the origin of the $t$ distribution with $(10-1)$ degrees of freedom. The ratio of a standard normal and the squared root of an independent Chi-square divided by its degrees of freedom, which, in an unpredictable turn of tides, wind up describing the expected behavior of the estimation error you undergo when using the sample average $\bar X$ to estimate $\mu$ and using $S^2$ to estimate the variability of $\bar X$.

There you go. With an awful lot of technical details grossly swept behind the rug, but not depending solely on God's intervention to dangerously bet your whole paycheck.

An intuitive explanation of degrees of freedom is that they represent the number of independent pieces of information available in the data for estimating a parameter (i.e., unknown quantity) of interest.

As an example, in a simple linear regression model of the form:

$$Y_i=\beta_0 + \beta_1\cdot X_i + \epsilon_i,\quad i=1,\ldots, n$$

where the $\epsilon_i$'s represent independent normally distributed error terms with mean 0 and standard deviation $\sigma$, we use 1 degree of freedom to estimate the intercept $\beta_0$ and 1 degree of freedom to estimate the slope $\beta_1$. Since we started out with $n$ observations and used up 2 degrees of freedom (i.e., two independent pieces of information), we are left with $n-2$ degrees of freedom (i.e., $n-2$ independent pieces of information) available for estimating the error standard deviation $\sigma$.

Вы можете видеть степень свободы как количество наблюдений минус количество необходимых отношений между этими наблюдениями. Например, если у вас есть$n$ выборка независимых наблюдений нормального распределения $X_1,\dots,X_n$, Случайная переменная$\sum_{i=1}^n (X_i-\overline{X}_n)^2\sim \mathcal{X}^2_{n-1}$, где $\overline{X}_n = \frac{1}{n}\sum_{i=1}^n X_i$, Степень свободы здесь$n-1$ потому что они являются одним из необходимых отношений между этими наблюдениями $(\overline{X}_n = \frac{1}{n}\sum_{i=1}^n X_i)$,

Для получения дополнительной информации см. Это

Для меня первое объяснение, которое я понял, было:

Если вам известно какое-либо статистическое значение, такое как среднее или вариация, сколько переменных данных вам нужно знать, прежде чем вы сможете узнать значение каждой переменной?

Это то же самое, что сказал aL3xa, но без указания какой-либо точки данных особой роли и близко к третьему случаю, приведенному в ответе. Таким образом, тот же пример будет:

Если вы знаете среднее значение данных, вам нужно знать значения для всех, кроме одной точки данных, чтобы знать значение для всех точек данных.

Think of it this way. Variances are additive when independent. For example, suppose we are throwing darts at a board and we measure the standard deviations of the $x$ and $y$ displacements from the exact center of the board. Then $V_{x,y}=V_x+V_y$. But, $V_x=SD_x^2$ if we take the square root of the $V_{x,y}$ formula, we get the distance formula for orthogonal coordinates, $SD_{x,y}=\sqrt{SD_x^2+SD_y^2}$. Now all we have to show is that standard deviation is a representative measure of displacement away from the center of the dart board. Since $SD_x=\sqrt{\dfrac{\sum_{i=1}^n(x_i-\bar{x})^2}{n-1}}$, we have a ready means of discussing df. Note that when $n=1$, then $x_1-\bar{x}=0$ and the ratio $\dfrac{\sum_{i=1}^n(x_i-\bar{x})^2}{n-1}\rightarrow \dfrac{0}{0}$. In other words, there is no deviation to be had between one dart's $x$-coordinate and itself. The first time we have a deviation is for $n=2$ and there is only one of them, a duplicate. That duplicate deviation is the squared distance between $x_1$ or $x_2$ and $\bar{x}=\dfrac{x_1+x_2}{2}$ because $\bar{x}$ is the midpoint between or average of $x_1$ and $x_2$. In general, for $n$ distances we remove 1 because $\bar{x}$ is dependent on all $n$ of those distances. Now, $n-1$ represents the degrees of freedom because it normalizes for the number of unique outcomes to make an expected square distance. when divided into the sum of those square distances.