Ускоренный курс в устойчивой средней оценке

У меня есть куча (около 1000) оценок, и все они должны быть оценками долгосрочной эластичности. Чуть более половины из них оценивается с использованием метода A, а остальные - с использованием метода B. Где-то я читал что-то вроде: «Я думаю, что метод B оценивает что-то очень отличное от метода A, потому что оценки намного (на 50-60%) выше ». Мои знания о достоверной статистике практически ничего не значат, поэтому я рассчитал только средние значения выборки и медианы обеих выборок ... и сразу увидел разницу. Метод A очень концентрированный, разница между медианой и средним очень мала, но выборка метода B сильно различалась.

Я пришел к выводу, что выбросы и погрешности измерений искажают образец метода B, поэтому я отбросил около 50 значений (около 15%), которые были очень несовместимы с теорией ... и вдруг значения обоих образцов (включая их КИ) были очень похожи , Графики плотности также.

(В стремлении устранить выбросы я посмотрел на диапазон выборки A и удалил все точки выборки в B, которые выходили за его пределы.) Я хотел бы, чтобы вы сказали мне, где я мог бы найти некоторые основы надежной оценки средств, которые могли бы позвольте мне судить об этой ситуации более строго. И иметь некоторые ссылки. Мне не нужно очень глубокое понимание различных методов, скорее, прочитайте всесторонний обзор методологии надежной оценки.

Я t-тест на значимость средней разности после удаления выбросов и р-значение составляет 0,0559 (т около 1,9), для полных выборок т стат был около 4,5. Но дело не в этом, средства могут быть немного другими, но они не должны отличаться на 50-60%, как указано выше. И я не думаю, что они делают.

Вы ищете теорию или что-то практичное?

Если вы ищете книги, вот некоторые из них, которые я нашел полезными:

• FR Hampel, EM Ronchetti, PJRousseeuw, WA Stahel, Надежная статистика: подход, основанный на функциях влияния , John Wiley & Sons, 1986.

• PJ Huber, Робастная статистика , John Wiley & Sons, 1981.

• PJ Rousseeuw, AM Leroy, Робастная регрессия и обнаружение выбросов , John Wiley & Sons, 1987.

• RG Staudte, SJ Sheather, Робастная оценка и тестирование , John Wiley & Sons, 1990.

Если вы ищете практические методы, вот несколько надежных методов оценки среднего значения («оценки местоположения», я думаю, более принципиальный термин):

• Медиана простая, известная и довольно мощная. Обладает отличной устойчивостью к выбросам. «Цена» надежности составляет около 25%.

• Среднее 5-процентное сокращение - другой возможный метод. Здесь вы отбрасываете 5% самых высоких и 5% самых низких значений, а затем берете среднее значение (среднее) результата. Это менее устойчиво к выбросам: до тех пор, пока не повреждено не более 5% ваших точек данных, это хорошо, но если повреждено более 5%, оно внезапно становится ужасным (оно не ухудшается). «Цена» надежности меньше, чем медиана, хотя я не знаю, что именно.

• Оценщик Ходжеса-Лемана вычисляет медиану множества (множество, содержащее значений), где - наблюдения. Это имеет очень хорошую надежность: он может справиться с повреждением примерно до 29% точек данных, не разваливаясь полностью. А «цена» надежности низкая: около 5%. Это правдоподобная альтернатива медиане.$\{(x_i+x_j)/2 : 1 \le i \le j \le n\}$$n(n+1)/2$$x_1,\dots,x_n$

• Межквартильное среднее - это еще одна оценка, которая иногда используется. Он вычисляет среднее значение первого и третьего квартилей и, следовательно, прост для вычисления. Он обладает очень хорошей надежностью: он может выдерживать искажения до 25% точек данных. Однако «цена» робастности нетривиальна: около 25%. В результате это кажется хуже среднего.

• Есть много других мер, которые были предложены, но приведенные выше кажутся разумными.

Короче говоря, я бы предложил медиану или, возможно, оценку Ходжеса-Лемана.

PS О, я должен объяснить, что я имею в виду под «ценой» надежности. Надежная оценка разработана, чтобы все еще работать прилично хорошо, даже если некоторые из ваших точек данных были повреждены или имеют иные выбросы. Но что, если вы используете надежную оценку для набора данных, который не имеет выбросов и искажений? В идеале мы хотели бы, чтобы надежный оценщик был максимально эффективным при использовании данных, насколько это возможно. Здесь мы можем измерить эффективность по стандартной ошибке (интуитивно, типичная величина ошибки в оценке, произведенной оценщиком). Известно, что если ваши наблюдения получены из гауссовского распределения (iid), и если вы знаете, что вам не понадобится устойчивость, то среднее значение является оптимальным: оно имеет наименьшую возможную ошибку оценки. «Цена» надежности, выше, Насколько увеличивается стандартная ошибка, если мы применим конкретный надежный оценщик к этой ситуации. Цена надежности 25% для медианы означает, что размер типичной ошибки оценки со медианой будет примерно на 25% больше, чем размер типичной ошибки оценки со средним значением. Очевидно, что чем ниже «цена», тем лучше.

Если вам нравится что-то короткое и легко усваиваемое, взгляните на следующую статью из психологической литературы:

Эрцег-Хурн Д.М., Миросевич В.М. (2008). Современные надежные статистические методы: простой способ максимизировать точность и эффективность ваших исследований. Американский психолог , 63 (7), 591–601. DOI: 10,1037 / 0003-066X.63.7.591

Они в основном полагаются на книги Рэнда Р Уилкокса (которые, по общему признанию, также не слишком математичны):

Wilcox, RR (2001). Основы современных статистических методов: существенное повышение мощности и точности. Нью-Йорк; Берлин: Спрингер.
Wilcox, RR (2003). Применение современных статистических методов. Амстердам; Бостон: Академическая пресса.
Wilcox, RR (2005). Введение в робастную оценку и проверку гипотез. Академическая пресса.

Одна книга, которая довольно хорошо сочетает в себе теорию и практику, - это « Надежные статистические методы с использованием R», написанные Юречковой и Пичеком. Мне также нравится робастная статистика от Maronna et al. Однако, оба из них могут иметь больше математики, чем вы хотели бы. Для более прикладного урока, ориентированного на R, этот BelVenTutorial pdf может помочь.