Это история о степенях свободы и статистических параметрах, а также о том, что хорошо, что они имеют прямую простую связь.
Исторически, термины « » появились в исследованиях Эйлера функции Бета. Он использовал эту параметризацию к 1763 году, как и Адриен-Мари Лежандр: их использование установило последующее математическое соглашение. Эта работа предшествует всем известным статистическим приложениям.−1
Современная математическая теория дает множество указаний, благодаря множеству приложений в анализе, теории чисел и геометрии, что термины « » на самом деле имеют некоторое значение. Я набросал некоторые из этих причин в комментариях к вопросу.−1
Более интересным является то, какой должна быть «правильная» статистическая параметризация. Это не так ясно, и это не должно совпадать с математическим соглашением. Существует огромная сеть широко используемых, хорошо известных, взаимосвязанных семейств распределений вероятностей. Таким образом, соглашения, используемые для именования (то есть параметризации) одного семейства, обычно подразумевают связанные соглашения для именования связанных семейств. Измените одну параметризацию, и вы захотите изменить их все. Поэтому мы могли бы посмотреть на эти отношения для подсказок.
Мало кто не согласится с тем, что наиболее важные семьи распределения происходят из нормальной семьи. Напомним , что случайная величина называется «нормально распределены» , когда ( Х - μ ) / σ имеет плотность вероятности п ( х ) , пропорциональный ехр ( - х 2 / 2 ) . Когда σ = 1 и µ = 0 , говорят , что X имеет стандартное нормальное распределение.Икс( X- μ ) / σе( х )ехр( - х2/ 2)σ= 1μ = 0Икс
Многие наборы данных изучаются с использованием относительно простой статистики, включающей рациональные комбинации данных и малые мощности (обычно квадраты). Когда эти данные моделируются как случайные выборки из нормального распределения - так что каждый x i рассматривается как реализация нормальной переменной X i , все X i имеют общее распределение и независимы - распределения этих статистических данных. определяются этим нормальным распределением. На практике чаще всего возникаютИкс1, х2, … , ХNИксяИксяИкся
,распределениеСтьюдента t с ν = n - 1 «степенями свободы». Это распределение статистики t = ˉ XTνTν= n - 1 где ˉ X =(X1+X2+⋯+Xn)/nмоделирует среднее значение данных иse(X)=(1/√
т = х¯се(X)
X¯=(X1+X2+⋯+Xn)/n - стандартная ошибка среднего. Деление наn-1показывает, чтоnдолжно быть2или больше, откудаνявляется целым числом1или больше. Формула, хотя и немного сложная, является корнем квадратным из рациональной функции данных второй степени: она относительно проста.се( X) = ( 1 / n--√) ( X21+ X22+ ⋯ + X2N) / ( n - 1 ) - X¯2----------------------------√n - 1N2ν1
, χ 2 распределения (хи-квадрат)с v , "степеней свободы" (ДФ). Это распределение суммы квадратов ν независимых стандартных нормальных переменных. Следовательно, распределение средних квадратов этих переменных будетраспределением χ 2, масштабированным на 1 / ν : я буду называть это «нормализованным»распределением χ 2 .χ2νχ2ννχ21 / νχ2
,в F распределение коэффициента с параметрами ( ν 1 , ν 2 ) представляет собой отношение двух независимых нормированная х 2 распределений с v , 1 и ν 2 степенями свободы.Fν1, ν2F( ν1, ν2)χ2ν1ν2
Математические расчеты показывают, что все три из этих распределений имеют плотности. Важно отметить, что плотность распределения пропорциональна подынтегральному выражению в интегральном определении Эйлера функции Гамма ( Γ ). Давайте сравним их:χ2νΓ
еχ2ν( 2 х ) α хν/ 2-1е- х;еΓ ( ν)( х ) ∝ хν- 1е- х,
Это показывает, что дважды переменная имеет гамма-распределение с параметром ν / 2 . Половина коэффициента достаточно мешающая, но вычитание 1 сделало бы отношения намного хуже. Это уже поставляет убедительный ответ на вопрос: если мы хотим , чтобы параметр с χ 2 распределения , чтобы подсчитать количество квадратов нормальных переменные , которые производят его ( с точностью до множителя из 1 / 2 ), то показателя в его функции плотности сусла быть на половину меньше. χ2νν/ 21χ21 / 2
Почему фактор меньше неприятностей , чем разница в 1 ? Причина в том, что этот фактор останется неизменным, когда мы все сложим. Если сумма квадратов n независимых стандартных нормалей пропорциональна гамма-распределению с параметром n (умноженным на некоторый коэффициент), то сумма квадратов m независимых стандартных нормалей пропорциональна гамма-распределению с параметром m (умноженным на тот же коэффициент) откуда сумма квадратов всех n + m переменных пропорциональна гамма-распределению с параметром m + n (все еще раз тот же коэффициент). 1 / 21NNммн + мм + нТот факт, что добавление параметров так близко имитирует добавление счетчиков, очень полезно.
Однако, если бы мы убрали эту надоедливую " " из математических формул, эти хорошие отношения стали бы более сложными. Например, если мы изменили параметризацию гамма-распределений так, чтобы они ссылались на фактическую степень x в формуле, чтобы распределение χ 2 1 было связано с распределением «Gamma ( 0 ) » (так как степень x в его PDF равен 1 - 1 = 0 ), тогда сумму трех χ 2 1 распределений нужно было бы назвать «Гамма ( 2 )- 1Иксχ21( 0 )Икс1 - 1 = 0χ21( 2 )"распределение. Короче говоря, тесная аддитивная связь между степенями свободы и параметром в гамма-распределениях будет потеряна, если удалить формулу из формулы и поглотить ее в параметре.- 1
Точно так же функция вероятности распределения отношения тесно связана с бета-распределениями. Действительно, когда Y имеет F распределение коэффициента, распределение Z = ν 1 Y / ( ν 1 Y + ν 2 ) имеет бета ( ν 1 / 2 , ν 2 / 2 ) распределения. Его функция плотности пропорциональнаFYFZ= ν1Y/ ( ν1Y+ ν2)( ν1/ 2, ν2/ 2)
еZ( з) ∝ zν1/2−1(1−z)ν2/2−1.
Кроме того, принимая эти идеи по кругу, квадрат распределения Стьюдента с ν df имеет F- отношение с параметрами ( 1 , ν ) . Еще раз очевидно, что поддержание традиционной параметризации поддерживает четкую связь с основными показателями, которые способствуют степеням свободы.tνF(1,ν)
Таким образом, со статистической точки зрения было бы наиболее естественным и простым использовать вариант традиционных математических параметризаций распределений и бета: мы бы предпочли называть распределение Γ ( α ) « распределением Γ ( 2 α ) ». и бета ( α , β ) распределение следует называть «бета ( 2 α , 2 β ) распределением». Фактически, мы уже сделали это: именно поэтому мы продолжаем использовать имена "хи-квадрат" и " F"ΓΓ(α)Γ(2α)(α,β)(2α,2β)FСоотношение "распределение вместо" Гамма "и" Бета ". Независимо от того, мы ни в коем случае не хотим удалять термины " ", которые появляются в математических формулах для их плотности.−1 Если бы мы сделали это, мы потеряли бы прямую связь между параметрами в плотностях и количеством данных, с которыми они связаны: мы всегда были бы на единицу.