Какие не байесовские методы существуют для прогнозного вывода?

В байесовском умозаключении прогнозное распределение будущих данных получено путем интегрирования неизвестных параметров; интеграция по апостериорному распределению этих параметров дает апостериорное предиктивное распределение - распределение для будущих данных, зависящее от уже наблюдавшихся. Какие не байесовские методы для прогнозного вывода существуют, которые учитывают неопределенность в оценках параметров (то есть, которые не просто включают оценки максимального правдоподобия или что-либо еще обратно в функцию плотности)?

Каждый знает, как рассчитать интервалы прогнозирования после линейной регрессии, но каковы принципы расчета и как их можно применять в других ситуациях (например, вычисление точного интервала прогнозирования для нового экспоненциального изменения после оценки параметра скорости по данным)?

Не байесовский прогнозирующий вывод (кроме случая SLR) является относительно недавней областью. Под заголовком «не байесовский» мы можем подразделить подходы на те, которые являются «классическими» частыми по сравнению с теми, которые основаны на «вероятности».

Классическое Предсказание Частых

Как вы знаете, «золотой стандарт» в частоте заключается в достижении номинального охвата при многократной выборке. Например, мы хотим, чтобы 95% доверительная область содержала истинные параметры в 95% выборок из той же популяции. Или мы ожидаем допустить ошибки типа I и II в тесте гипотезы, в среднем равном и β . Наконец, что наиболее уместно в этом вопросе, мы ожидаем, что наш 95% интервал прогнозирования будет содержать следующую точку выборки в 95% случаев.$\alpha$$\beta$

Теперь у меня, как правило, были проблемы с тем, как классические PI представлены и преподаются на большинстве курсов статистики, потому что подавляющая тенденция состоит в том, чтобы интерпретировать их как байесовские задние интервалы прогнозирования, которых они определенно не имеют. Самое главное, они говорят о разных вероятностях! Байесовские не претендуют на повторную выборку их количеств (в противном случае они были бы частыми лицами). Во-вторых, байесовский ПИ фактически выполняет нечто более похожее по духу на Классический интервал толерантности, чем на Классический интервал прогнозирования.

Для справки: Интервалы толерантности должны быть определены двумя вероятностями: достоверность и охват. Доверие говорит нам, как часто это правильно в повторных выборках. Покрытие говорит нам минимальную меру вероятности интервала при истинном распределении (в отличие от PI, который дает ожидаемую меру вероятности ... опять же при повторной выборке). Это в основном то, что пытается сделать байесовский ИП, но без претензий на повторную выборку.

Итак, основная логика простой линейной регрессии Stats 101 состоит в том, чтобы вывести свойства повторной выборки ПИ в предположении нормальности. Это частый + гауссовский подход, который обычно считается «классическим» и преподается на вступительных классах. Это основано на простоте полученных расчетов ( хороший обзор см. В Википедии ).

Негауссовы распределения вероятностей, как правило, проблематичны, поскольку в них могут отсутствовать основные величины, которые можно аккуратно инвертировать, чтобы получить интервал. Следовательно, не существует «точного» метода для этих распределений, часто потому, что свойства интервала зависят от истинных базовых параметров.

Признавая эту неспособность, возник другой класс предсказания (и логического вывода и оценки) с подходом вероятности.

Вывод на основе вероятности

Подходы, основанные на вероятности, как и многие современные статистические концепции, можно проследить до Рональда Фишера. Основная идея этой школы заключается в том, что, за исключением особых случаев, наши статистические выводы находятся на логически более слабом основании, чем когда мы имеем дело с выводами из нормального распределения (оценки параметров которого ортогональны). ), где мы можем делать точные вероятностные утверждения. С этой точки зрения следует действительно избегать утверждений о вероятности, за исключением точного случая, в противном случае следует высказываться о вероятности и признавать, что человек не знает точную вероятность ошибки (в частом смысле).

Следовательно, мы можем рассматривать вероятность как схожую с байесовской вероятностью, но без требований интегрируемости или возможной путаницы с вероятностью появления. Его интерпретация полностью субъективна ... хотя для вывода по одному параметру часто рекомендуется отношение правдоподобия 0,15.

Тем не менее, не часто можно увидеть статьи, в которых явно указаны «интервалы вероятности». Зачем? Похоже, что это в значительной степени вопрос социологии, так как мы все привыкли к основанным на вероятности заявлениям о доверии. Вместо этого вы часто видите, как автор ссылается на «приблизительный» или «асимптотический» доверительный интервал того-то и того-то. Эти интервалы в основном получены из методов правдоподобия, где мы полагаемся на асимптотическое распределение хи-квадрат отношения правдоподобия почти так же, как мы полагаемся на асимптотическую нормальность среднего значения выборки.

С этим «исправлением» мы можем теперь построить «приблизительные» 95% доверительные регионы с почти такой же логической последовательностью, как байесовские.

От CI до PI в структуре вероятности

Успех и простота вышеупомянутого метода вероятности привели к идеям о том, как распространить его на прогнозирование. Очень хороший обзор статьи по этому вопросу дано здесь (я не буду воспроизводить его отличное покрытие). Это можно проследить до Дэвида Хинкли в конце 1970-х (см. JSTOR ), который придумал этот термин. Он применил его к многолетней « проблеме биномиального прогнозирования Пирсона ». Я суммирую основную логику.

$y$$y$$y$ фактически является случайным и, следовательно, может быть логически назначен вероятностный коэффициент. Механизм этого для этой конкретной проблемы рассмотрен в ссылках, которые я предоставил.

Основные правила избавления от «неприятных» параметров для получения прогнозирующей вероятности следующие:

1. $\mu, \sigma$ его по вероятности.
2. Если параметр является случайным (например, другие ненаблюдаемые данные или «случайные эффекты»), то вы интегрируете их (как в байесовском подходе).

Различие между фиксированным и случайным параметром является уникальным для определения вероятности, но имеет связь с моделями со смешанными эффектами, где кажется, что байесовские, частотные и вероятностные структуры сталкиваются.

Надеемся, что это ответило на ваш вопрос о широкой области «небайесовского» предсказания (и вывод на этот счет). Поскольку гиперссылки могут измениться, я также сделаю заглушку для книги «По всей вероятности: статистическое моделирование и умозаключение с использованием правдоподобия», в которой подробно обсуждается современная основа правдоподобия, включая изрядное количество эпистемологических проблем вероятности против байесовских и частых вывод и прогноз.

Ссылки

1. Интервалы прогнозирования: непараметрические методы . Wikipedia. Доступ 13.09.2015.
2. Бьорнстад, Ян Ф. Прогнозирующая вероятность: обзор. Statist. Sci. 5 (1990), нет. 2, 242-254. DOI: 10,1214 / сс / 1177012175. http://projecteuclid.org/euclid.ss/1177012175 .
3. Дэвид Хинкли Прогнозирующая вероятность . Летопись статистики Vol. 7, No. 4 (Jul., 1979), pp. 718-728 Опубликовано: Институт математической статистики, стабильный URL: http://www.jstor.org/stable/2958920
4. Юди Павитан. По всей вероятности: статистическое моделирование и вывод с использованием вероятности. Издательство Оксфордского университета; 1 издание (30 августа 2001 г.). ISBN-10: 0198507658, ISBN-13: 978-0198507659. Особенно главы 5.5-5.9, 10 и 16.

Я отвечу конкретно на вопрос: «Какие существуют не байесовские методы прогнозного вывода, учитывающие неопределенность в оценках параметров?» Я организую свой ответ вокруг расширения значения неопределенности .

Мы надеемся, что статистический анализ обеспечит поддержку различных видов заявлений, включая прогнозы . Но мы по-прежнему не уверены в наших требованиях, и эта неопределенность возникает из многих источников. Статистика по частым данным характерно организована вокруг рассмотрения только той части нашей неопределенности, которая связана именно с выборкой . Выборка вполне могла быть основным источником неопределенности в сельскохозяйственных полевых экспериментах, которые исторически обеспечивали значительную часть стимула для развития статистических исследований. Но во многих наиболее важных современных приложениях это не так. Теперь мы беспокоимся о всевозможных других неопределенностях, таких как неправильная спецификация модели и различные формы смещения, которых, по-видимому, сотни (!) Типов [1].

У Сандера Гренландии есть замечательная дискуссионная статья [2], в которой указано, насколько важно учитывать эти другие источники неопределенности, и в качестве средства для достижения этого предписывается многофакторный анализ . Он развивает теорию полностью в байесовских терминах, что естественно. Если кто-то желает продолжить формальную, согласованную трактовку своей неопределенности относительно параметров модели, он естественным образом приводит к положительному (субъективному) распределению вероятностей по параметрам; в этот момент вы либо потерялись в Байесовском дьяволе, либо вошли в Байесовское Царство Небесное (в зависимости от вашей религии).

На ваш вопрос, @Scortchi, о том, можно ли это сделать «небайесовскими методами», небайесовский обходной путь продемонстрирован в [3]. Но для любого, кто знает достаточно о байесовском подходе, чтобы написать свой вопрос, лечение там будет выглядеть скорее как попытка осуществить, так сказать, потайные вычисления «потихоньку». Действительно, как признают авторы (см. Стр. 4), чем ближе вы подходите к более продвинутым методам к концу книги, тем больше методы выглядят именно как интеграция, которую вы описываете в своем вопросе. Они предполагают, что в конечном итоге они отступают от байесовского подхода только потому, что не ставят явных априоров на свои параметры перед их оценкой.

$\theta(\alpha)$$\alpha$$\theta$

1. Чавалариас, Давид и Иоанн П.А. Иоаннидис. «Анализ научного картирования характеризует 235 предубеждений в биомедицинских исследованиях». Journal of Clinical Epidemiology 63, no. 11 (ноябрь 2010 г.): 1205–15. DOI: 10.1016 / j.jclinepi.2009.12.011.

2. Гренландия, Сандер. «Моделирование с множественным смещением для анализа данных наблюдений (с обсуждением)». Журнал Королевского статистического общества: Серия A (Статистика в обществе) 168, нет. 2 (март 2005 г.): 267–306. DOI: 10.1111 / j.1467-985X.2004.00349.x.

3. Лэш, Тимоти Л., Мэтью П. Фокс и Ализа К. Финк. Применение количественного анализа смещения к эпидемиологическим данным. Статистика по биологии и здоровью. Нью-Йорк, Нью-Йорк: Springer New York, 2009. http://link.springer.com/10.1007/978-0-387-87959-8 .