Как доказать, что


9

Я пытался установить неравенство

|Ti|=|XiX¯|Sn1n

где - среднее значение выборки, а - стандартное отклонение выборки, то есть S = \ sqrt {\ frac {\ sum_ {i = 1} ^ n \ left (X_i - \ bar {X} \ right) ^ 2} {n-1}} .X¯SS=i=1n(XiX¯)2n1

Легко видеть, что i=1nTi2=n1 и так |Ti|<n1 но это не очень близко к тому, что я искал, и не является полезным ограничением. Я экспериментировал с неравенствами Коши-Шварца и неравенства треугольника, но никуда не делся. Там должен быть тонкий шаг, который я где-то упускаю. Буду признателен за помощь, спасибо.

Ответы:


10

Это неравенство Самуэльсона, и ему нужен знак . Если вы возьмете версию Википедии и переработаете ее для определения вы обнаружите, что она становитсяn1S,

|XiX¯|Sn1N

Это приведено как строгое неравенство в книге, но я исправил это, спасибо.
JohnK

5

После упрощения проблемы с помощью рутинных процедур ее можно решить, превратив ее в программу двойной минимизации, которая имеет хорошо известный ответ с элементарным доказательством. Возможно, эта дуализация является «тонким шагом», о котором идет речь в вопросе. Неравенство также можно установить чисто механическим путем, максимизируячерез множители Лагранжа.|Tя|

Во-первых, я предлагаю более элегантное решение, основанное на геометрии наименьших квадратов. Это не требует предварительного упрощения и является почти немедленным, обеспечивая непосредственную интуицию в результате. Как предполагается в вопросе, проблема сводится к неравенству Коши-Шварца.


Геометрическое решение

Рассмотрим как мерный вектор в евклидовом пространстве с обычным точечным произведением. Пусть стать базисный вектор и . Запишите и для ортогональных проекций и в ортогональное дополнение к . (В статистической терминологии они являются остатками относительно средних.) Тогда, поскольку ип у = ( 0 , 0 , ... , 0 , 1 , 0 , ... , 0 ) я й 1 = ( 1 , 1 , ... , 1 ) х у х у 1 Х я - ˉ Х =Иксзнак равно(Икс1,Икс2,...,ИксN)NYзнак равно(0,0,...,0,1,0,...,0)яго1знак равно(1,1,...,1)Икс^Y^ИксY1S=| | х | | /Икся-Икс¯знак равноИкс^YS=||x^||/n1 ,

|Tя|знак равноN-1|Икс^Y|||Икс^||знак равноN-1|Икс^Y^|||Икс^||

является компонентом в направлении . По Коши-Шварцу, это максимизируется именно тогда, когда параллелен , для которого QED. х х у =(-1,-1,...,-1,п-1,-1,-1,...,-1)/пТя=plusmnY^Икс^Икс^Y^знак равно(-1,-1,...,-1,N-1,-1,-1,...,-1)/N

Tязнак равно±N-1Y^Y^||Y^||знак равно±N-1||Y^||знак равно±N-1N,

Кстати, это решение обеспечивает исчерпывающую характеристику всех случаев, когдамаксимально: они все в форме|Tя|

Иксзнак равноσY^+μ1знак равноσ(-1,-1,...,-1,N-1,-1,-1,...,-1)+μ(1,1,...,1)

для всех настоящих .μ,σ

Этот анализ легко обобщается на случай, когда заменяется любым набором регрессоров. Очевидно, максимум пропорционален длине невязки ,,T i y | | у | |{1}TяY||Y^||


упрощение

Поскольку является инвариантным при изменениях местоположения и масштаба, мы можем предположить без ограничения общности, что сумма равна нулю, а их квадраты - . Это идентифицируетс, поскольку (средний квадрат) равен . Максимизация его равносильна максимизации . Принимая , общность также не теряется , поскольку являются взаимозаменяемыми.X i n - 1 | Т я | | X я | S 1 | Т я | 2 = T 2 i = X 2 i i = 1 X iTяИксяN-1|Tя||Икся|S1|Tя|2знак равноTя2знак равноИкся2язнак равно1Икся


Решение с помощью двойного состава

Двойственная проблема состоит в том, чтобы зафиксировать значение и спросить, какие значения оставшихся необходимы, чтобы минимизировать сумму квадратов учитывая, что . Поскольку задано , это проблема минимизации учитывая, что . Х J , J 1 Σ п J = 1 X 2 J Σ п J = 1 Х J = 0 X 1 Σ п J = 2 X 2 J Σ п J = 2 Х J = - Х 1Икс12ИксJ,J1ΣJзнак равно1NИксJ2ΣJзнак равно1NИксJзнак равно0Икс1ΣJзнак равно2NИксJ2ΣJзнак равно2NИксJзнак равно-Икс1

Решение легко найти во многих отношениях. Одним из самых элементарных является написать

ИксJзнак равно-Икс1N-1+εJ, Jзнак равно2,3,...,N

для которого . Расширение целевой функции и использование этой суммы к нулю, чтобы упростить ее, производитΣJзнак равно2NεJзнак равно0

ΣJзнак равно2NИксJ2знак равноΣJзнак равно2N(-Икс1N-1+εJ)2знак равноΣ(-Икс1N-1)2-2Икс1N-1ΣεJ+ΣεJ2знак равнопостоянная+ΣεJ2,

немедленно показывая уникальное решение для всех . Для этого решенияjεJзнак равно0J

(N-1)S2знак равноИкс12+(N-1)(-Икс1N-1)2знак равно(1+1N-1)Икс12знак равноNN-1Икс12

а также

|Tя|знак равно|Икс1|Sзнак равно|Икс1|N(N-1)2Икс12знак равноN-1N,

КЕД .


Решение с помощью машин

Вернемся к упрощенной программе, с которой мы начали:

Максимизация Икс12

при условии

Σязнак равно1NИксязнак равно0 а также Σязнак равно1NИкся2-(N-1)знак равно0.

Метод множителей Лагранжа (который является почти чисто механическим и простым) приравнивает нетривиальную линейную комбинацию градиентов этих трех функций к нулю:

(0,0,...,0)знак равноλ1D(Икс12)+λ2D(Σязнак равно1NИкся)+λ3D(Σязнак равно1NИкся2-(N-1)),

Компонент за компонентом, эти уравненийN

0знак равно2λ1Икс1+λ2+2λ3Икс10знак равноλ2+2λ3Икс20знак равно0знак равноλ2+2λ3ИксN,

Последние из них подразумевают либо либо . (Мы можем исключить последний случай, потому что тогда первое уравнение подразумевает , тривиализируя линейную комбинацию.) Ограничение суммы до нуля дает . Ограничение суммы квадратов дает два решенияN-1Икс2знак равноИкс3знак равнознак равноИксNзнак равно-λ2/(2λ3)λ2знак равноλ3знак равно0λ1знак равно0Икс1знак равно-(N-1)Икс2

Икс1знак равно±N-1N; Икс2знак равноИкс3знак равнознак равноИксNзнак равно1N,

Они оба дают

|Tя|знак равно|Икс1||±N-1N|знак равноN-1N,

Спасибо за ваше приложение, геометрия очень мощная и из всех трех решений она наиболее интуитивна для меня.
JohnK

0

Неравенство, как указано, верно. Интуитивно понятно, что мы получаем наиболее сложный случай для неравенства (то есть максимизации левой стороны для заданного ), выбирая одно значение, скажем, как можно больше, при этом все остальные равны. Давайте посмотрим на пример с такой конфигурацией:S2Икс1

Nзнак равно4,Икс1знак равноИкс2знак равноИкс3знак равно0,Икс4знак равно4,Икс¯знак равно1,S2знак равно4,
теперь зависимости от , а заданный верхний предел равен что просто достаточно. Эта идея может быть завершена до доказательства.|Икся-Икс¯|Sзнак равно{12 или 32я4-12знак равно1,5

РЕДАКТИРОВАТЬ

Теперь мы докажем претензию, как указано выше. Во-первых, для любого данного вектора в этой задаче мы можем заменить его на не меняя ни одну из сторон вышеприведенного неравенства. Итак, в дальнейшем предположим, что . Мы также можем с помощью перемаркировки предположить, что является наибольшим. Затем, выбрав сначала а затем мы можем проверить с помощью простой алгебры, что мы имеем равенство в заявленном неравенстве. Итак, это остро.Иксзнак равно(Икс1,Икс2,...,ИксN)Икс-Икс¯Икс¯знак равно0Икс1Икс1>0Икс2знак равноИкс3знак равнознак равноИксNзнак равно-Икс1N-1

Затем определите (выпуклую) область помощью для данной положительной константы . Обратите внимание, что - это пересечение гиперплоскости с сферой, центрированной в начале координат, так же как и сфера в -пространстве. Теперь наша проблема может быть сформулирована как ср

рзнак равно{Икср:Икс¯знак равно0,Σ(Икся-Икс¯)2/(N-1)S2}
S2р(N-1)
МаксимумИксрМаксимумя|Икся|
Иксмаксимизация этого будет самым трудным случаем для неравенства. Это проблема нахождения максимума выпуклой функции над выпуклым множеством, что в общем случае является сложной задачей (минимумы - это просто!). Но в этом случае выпуклая область - это сфера с центром в начале координат, а функция, которую мы хотим максимизировать, - это абсолютное значение координат. Очевидно, что этот максимум находится в граничной сфере , и если взятьмаксимальный, наш первый контрольный пример принудительный.р|Икс1|

@JohnK Вы можете удалить свои комментарии сейчас, пост исправлен
kjetil b halvorsen

Хотя этот ответ показывает, что неравенство (при условии, что оно истинно, что оно есть) является жестким , неясно, как этот единственный расчет мог быть «завершен до доказательства». Не могли бы вы дать некоторое представление о том, как это будет сделано?
whuber

Будет, но завтра, теперь я должен подготовить завтрашний класс.
kjetil b halvorsen

Спасибо - я ценю вашу тщательную формулировку проблемы. Но ваше «доказательство», похоже, сводится к утверждению, что «это очевидно». Вы всегда можете применить множители Лагранжа для завершения работы, но было бы неплохо увидеть подход, который (а) на самом деле является доказательством и (б) дает понимание.
whuber

2
@whuber Если у вас есть время, буду признателен, если вы опубликуете свое решение по множителям Лагранжа. Я думаю, что неравенство в целом не так знаменито, как должно быть.
JohnK
Используя наш сайт, вы подтверждаете, что прочитали и поняли нашу Политику в отношении файлов cookie и Политику конфиденциальности.
Licensed under cc by-sa 3.0 with attribution required.