Что такое «насыщенная» модель?

Что имеется в виду, когда мы говорим, что у нас насыщенная модель?

Насыщенная модель - это модель, в которой оцениваемых параметров столько же, сколько точек данных. По определению, это приведет к идеальной подгонке, но статистически будет малопригодным, поскольку у вас нет данных для оценки дисперсии.

Например, если у вас есть 6 точек данных и соответствует полиному 5-го порядка для данных, у вас будет насыщенная модель (один параметр для каждой из 5 степеней вашей независимой переменной плюс один для постоянного члена).

Насыщенная модель - это модель, которая перенастраивается до такой степени, что она просто интерполирует данные. В некоторых настройках, таких как сжатие и реконструкция изображений, это не обязательно плохо, но если вы пытаетесь построить прогностическую модель, это очень проблематично.

Короче говоря, насыщенные модели приводят к предельно высоким дисперсионным предикторам, которые подвергаются воздействию шума больше, чем фактические данные.

В качестве мысленного эксперимента представьте, что у вас есть насыщенная модель, и в данных присутствует шум, а затем представьте, что модель подбирается несколько сотен раз, каждый раз с разной реализацией шума, и затем прогнозируется новая точка. Вы, вероятно, будете получать радикально разные результаты каждый раз, как для вашей подгонки, так и для вашего прогноза (и полиномиальные модели особенно вопиющи в этом отношении); другими словами, дисперсия соответствия и предиктора чрезвычайно высока.

Напротив, модель, которая не является насыщенной, будет (если она построена разумно) давать соответствия, которые более соответствуют друг другу даже при различной реализации шума, и дисперсия предиктора также будет уменьшена.

Модель насыщается тогда и только тогда, когда в ней столько параметров, сколько точек данных (наблюдений). Или, иначе говоря, в ненасыщенных моделях степени свободы больше нуля.

Это в основном означает, что эта модель бесполезна, потому что она не описывает данные более экономно, чем необработанные данные (а описание данных экономно, как правило, является идеей использования модели). Кроме того, насыщенные модели могут (но не обязательно) обеспечивать (бесполезную) идеальную подгонку, поскольку они просто интерполируют или повторяют данные.

Возьмем, например, среднее значение в качестве модели для некоторых данных. Если у вас есть только одна точка данных (например, 5), использование среднего значения (т. Е. 5; обратите внимание, что среднее является насыщенной моделью только для одной точки данных) не поможет вообще. Однако, если у вас уже есть две точки данных (например, 5 и 7), использование среднего значения (например, 6) в качестве модели дает вам более скупое описание, чем исходные данные.

Как все говорили ранее, это означает, что у вас столько же параметров, сколько у вас точек данных. Таким образом, нет ничего хорошего в пригодном тестировании. Но это не значит, что «по определению» модель может идеально соответствовать любой точке данных. Я могу сказать вам по личному опыту работы с некоторыми насыщенными моделями, которые не могли предсказать конкретные точки данных. Это довольно редко, но возможно.

Еще одна важная проблема заключается в том, что насыщенный не означает бесполезный. Например, в математических моделях человеческого познания параметры модели связаны с конкретными когнитивными процессами, имеющими теоретический фон. Если модель насыщена, вы можете проверить ее адекватность, выполнив целенаправленные эксперименты с манипуляциями, которые должны влиять только на конкретные параметры. Если теоретические прогнозы соответствуют наблюдаемым различиям (или отсутствию) в оценках параметров, то можно сказать, что модель верна.

Пример: представьте, например, модель, которая имеет два набора параметров, один для когнитивной обработки, а другой для двигательных реакций. Теперь представьте, что у вас есть эксперимент с двумя условиями, в одном из которых способность реагировать на участников снижается (они могут использовать только одну руку вместо двух), а в другом состоянии нет ухудшения. Если модель действительна, различия в оценках параметров для обоих условий должны возникать только для параметров реакции двигателя.

Кроме того, имейте в виду, что даже если одна модель ненасыщена, она все равно может быть неидентифицируемой, что означает, что различные комбинации значений параметров дают один и тот же результат, что ставит под угрозу любую подгонку модели.

Если вы хотите найти больше информации по этим вопросам в целом, вы можете взглянуть на эти документы:

Бамбер Д. и Ван Сантен, JPH (1985). Сколько параметров модель может иметь и все еще быть тестируемой? Журнал математической психологии, 29, 443-473.

Бамбер Д. и Ван Сантен, JPH (2000). Как оценить тестируемость и идентификацию модели. Журнал математической психологии, 44, 20-40.

ура

Это также полезно, если вам нужно рассчитать AIC для модели квази-правдоподобия. Оценка дисперсии должна исходить из насыщенной модели. Вы должны разделить LL, который вам подходит, на расчетную дисперсию из насыщенной модели в расчете AIC.

В контексте SEM (или анализа пути) насыщенная модель или только что идентифицированная модель - это модель, в которой число свободных параметров точно равно количеству дисперсий и уникальных ковариаций. Например, следующая модель является насыщенной моделью, поскольку имеется 3 * 4/2 точек данных (дисперсии и уникальные ковариации), а также 6 свободных параметров, которые необходимо оценить: