Сходство более чем поверхностное.
«Компромисс смещения дисперсии» можно интерпретировать как теорему Пифагора, примененную к двум перпендикулярным евклидовым векторам: длина одного является стандартным отклонением, а длина другого - смещением. Длина гипотенузы является среднеквадратичной ошибкой.
Фундаментальные отношения
В качестве отправной точки рассмотрим этот показательный расчет, действительный для любой случайной величины с конечным вторым моментом и любого действительного числа . Поскольку второй момент конечен, имеет конечное среднее для которого , откудаXaXμ=E(X)E(X−μ)=0
E((X−a)2)=E((X−μ+μ−a)2)=E((X−μ)2)+2E(X−μ)(μ−a)+(μ−a)2=Var(X)+(μ−a)2.(1)
Это показывает , как средний квадрат отклонения между и любой «базовой линии» значение изменяется с : она является квадратичной функцией с минимумом , где средний квадрат отклонения дисперсия .XaaaμX
Связь с оценками и предвзятостью
Любая оценка является случайной величиной, потому что (по определению) это (измеримая) функция случайных величин. Позволяя ему играть роль в предыдущем, и позволяя оценке (вещь, которую должен оценивать ) быть , мы имеемθ^Xθ^θ
MSE(θ^)=E((θ^−θ)2)=Var(θ^)+(E(θ^)−θ)2.
Давайте вернемся к теперь, когда мы увидели, что утверждение о смещении + дисперсия для оценки буквально является случаем . Вопрос ищет «математические аналогии с математическими объектами». Мы можем сделать больше, чем просто, показывая, что квадратично интегрируемые случайные величины могут быть естественно преобразованы в евклидово пространство.(1)(1)
Математическое обоснование
В очень общем смысле случайная величина - это (измеримая) вещественная функция на вероятностном пространстве . Множество таких функций, которые являются квадратично интегрируемыми, что часто пишется (с учетом данной структуры вероятности), почти является гильбертовым пространством. Для того, чтобы сделать это в единое целое, мы должны приравнивать любые две случайные величины и , которые на самом деле не отличаются с точки зрения интеграции: то есть, мы говорим и являются эквивалентными , когда(Ω,S,P)L2(Ω)XYXY
E(|X−Y|2)=∫Ω|X(ω)−Y(ω)|2dP(ω)=0.
Это просто , чтобы проверить , что это истинное отношение эквивалентности: самое главное, когда эквивалентен и эквивалентно , то обязательно будет эквивалентен . Поэтому мы можем разбить все квадратично интегрируемые случайные величины на классы эквивалентности. Эти классы образуют множество . Кроме того, наследует векторное пространство , структура определяется поточечного сложения значений и точечно скалярного умножения. На этом векторном пространстве функцияXYYZXZL2(Ω)L2L2
X→(∫Ω|X(ω)|2dP(ω))1/2=E(|X|2)−−−−−−√
является нормой , часто пишется . Эта норма превращает в гильбертово пространство. Думайте о гильбертовом пространстве как о "бесконечномерном евклидовом пространстве". Любое конечномерное подпространство наследует норму от и , с этой нормой, является евклидовым пространством: в нем мы можем сделать евклидову геометрию.||X||2L2(Ω)HV⊂HHV
Наконец, нам нужен один факт, который является особенным для вероятностных пространств (а не пространств общих мер): поскольку является вероятностью, она ограничена (на ), откуда постоянные функции (для любого фиксированное действительное число ) - квадратично интегрируемые случайные величины с конечными нормами.P1ω→aa
Геометрическая интерпретация
Рассмотрим любую квадратично-интегрируемую случайную величину , которая рассматривается как представитель ее класса эквивалентности в . Он имеет средний , которые (как можно проверить) зависит только от класса эквивалентности . Пусть будет классом постоянной случайной величины.XL2(Ω)μ=E(X)X1:ω→1
X и порождают евклидово подпространство , размерность которого не больше . В этом подпространстве - это квадрат длины а - квадрат длины постоянной случайной величины . Принципиально, что перпендикулярен . (Одно из определений - это уникальный номер, для которого это так.) Соотношение можно записать1V⊂L2(Ω)2||X||22=E(X2)X||a1||22=a2ω→aX−μ11μ(1)
||X−a1||22=||X−μ1||22+||(a−μ)1||22.
Это действительно точно теорема Пифагора, в сущности та же самая форма, известная 2500 лет назад. Объект является гипотенузой прямоугольного треугольника с ножками и .
X−a1=(X−μ1)−(a−μ)1
X−μ1(a−μ)1
Если вам нужны математические аналогии, вы можете использовать все, что можно выразить в терминах гипотенузы прямоугольного треугольника в евклидовом пространстве. Гипотенуза будет представлять «ошибку», а ноги - смещение и отклонения от среднего.