Интерпретация exp (B) в полиномиальной логистической регрессии

16

Это вопрос новичка, но как интерпретировать результат exp (B), равный 6.012, в модели полиномиальной логистической регрессии?

1) 6,012-1,0 = 5,012 = 5012% увеличения риска?

или

2) 6.012 / (1 + 6.012) = 0,857 = 85,7% увеличение риска?

В случае, если обе альтернативы неверны, кто-то может указать правильный путь?

Я искал много ресурсов в Интернете, и я нашел эти две альтернативы, и я не совсем уверен, какой из них правильный.

multinomial

— user6911
источник

35

Нам потребуется некоторое время, чтобы добраться до него, но в итоге, изменение в одну единицу в переменной, соответствующей B, умножит относительный риск результата (по сравнению с базовым результатом) на 6.012.

Можно выразить это как увеличение относительного риска на «5012%» , но это путающий и потенциально вводящий в заблуждение способ сделать это, потому что он предполагает, что мы должны думать об изменениях аддитивно, тогда как на самом деле многочленная логистическая модель настоятельно рекомендует нам мыслить мультипликативно. Модификатор «относительный» является существенным, поскольку изменение в переменной одновременно изменяет прогнозируемые вероятности всех результатов, а не только рассматриваемого, поэтому мы должны сравнивать вероятности (с помощью соотношений, а не разностей).

Остальная часть этого ответа развивает терминологию и интуицию, необходимые для правильной интерпретации этих утверждений.

Фон

Давайте начнем с обычной логистической регрессии, а затем перейдем к полиномиальному случаю.

Для зависимой (двоичной) переменной $Y$ и независимых переменных $X_i$ модель

Pr [Y = 1] = \frac{\exp (β_{1} X_{1} + \dots + β_{m} X_{m})}{1 + \exp (β_{1} X_{1} + \dots + β_{m} X_{m})};

$\Pr[Y=1] = \frac{\exp(\beta_1 X_1 + \cdots + \beta_m X_m)}{1+\exp(\beta_1 X_1 + \cdots + \beta_m X_m)};$

эквивалентно, предполагая, что , $0 \ne \Pr[Y=1] \ne 1$

\log (ρ (X_{1}, \dots, X_{m})) = \log \frac{Pr [Y = 1]}{Pr [Y = 0]} = β_{1} X_{1} + \dots + β_{m} X_{m} .

$\log(\rho(X_1, \cdots, X_m)) = \log\frac{\Pr[Y=1]}{\Pr[Y=0]} = \beta_1 X_1 + \cdots + \beta_m X_m.$

(Это просто определяет , который является коэффициентом как функция .) $\rho$ $X_i$

Без потери общности индексируйте так, чтобы была переменной, а - «B» в вопросе (чтобы ). Исправление значений и варьирование на небольшое количество приводит к $X_i$ $X_m$ $\beta_m$ $\exp(\beta_m)=6.012$ $X_i, 1\le i\lt m$ $X_m$ $\delta$

\log (ρ (\dots, X_{m} + δ)) - \log (ρ (\dots, X_{m})) = β_{m} δ .

$\log(\rho(\cdots, X_m+\delta)) - \log(\rho(\cdots, X_m)) = \beta_m \delta.$

Таким образом, - это предельное изменение коэффициентов входа в систему по отношению к . $\beta_m$ $X_m$

Чтобы восстановить , очевидно, мы должны установить и степень левую часть: $\exp(\beta_m)$ $\delta=1$

\begin{aligned} \exp (β_{m}) & = \exp (β_{m} \times 1) \\ = \exp (\log (ρ (\dots, X_{m} + 1)) - \log (ρ (\dots, X_{m}))) \\ = \frac{ρ (\dots, X_{m} + 1)}{ρ (\dots, X_{m})} . \end{aligned}

$\eqalign{ \exp(\beta_m) &= \exp(\beta_m \times 1) \\ & = \exp( \log(\rho(\cdots, X_m+1)) - \log(\rho(\cdots, X_m))) \\ & = \frac{\rho(\cdots, X_m+1)}{\rho(\cdots, X_m)}. }$

Это показывает как отношение шансов для увеличения на одну единицу . Чтобы понять, что это может значить, составьте таблицу некоторых значений для диапазона начальных шансов, сильно округляя, чтобы выделить шаблоны: $\exp(\beta_m)$ $X_m$

Starting odds  Ending odds  Starting Pr[Y=1]  Ending Pr[Y=1]
0.0001         0.0006       0.0001            0.0006
0.001          0.006        0.001             0.006
0.01           0.06         0.01              0.057
0.1            0.6          0.091             0.38
1.             6.           0.5               0.9
10.            60.          0.91              1.
100.           600.         0.99              1.

Для действительно малых коэффициентов, которые соответствуют действительно малым вероятностям, эффект увеличения на одну единицу заключается в умножении коэффициентов или вероятности примерно на 6,012. Коэффициент мультипликации уменьшается по мере увеличения шансов (и вероятности) и практически исчезает, когда шансы превышают 10 (вероятность превышает 0,9). $X_m$

Коэффициент изменения вероятности

Что касается аддитивного изменения, то между вероятностью 0,0001 и 0,0006 (только 0,05%) нет большой разницы, а между 0,99 и 1 не существует большой разницы (только 1%). Наибольший аддитивный эффект возникает, когда коэффициент равен , где вероятность изменяется от 29% до 71%: изменение + 42%. $1/\sqrt{6.012} \sim 0.408$

Аддитивное изменение в вероятности

мы видим, что если мы выражаем «риск» как отношение шансов, то = «B» имеет простую интерпретацию - отношение шансов равно для увеличения единицы в но когда мы выражаем риск в некоторых В другом способе, таком как изменение вероятностей, интерпретация требует осторожности для определения начальной вероятности. $\beta_m$ $\beta_m$ $X_m$

Полиномиальная логистическая регрессия

(Это было добавлено для последующего редактирования.)

Признав ценность использования лог-шансов для выражения шансов, давайте перейдем к полиномиальному случаю. Теперь зависимая переменная может быть равна одной из категорий , проиндексированных с помощью . Относительная вероятность того, что она находится в категории есть $Y$ $k \ge 2$ $i=1, 2, \ldots, k$ $i$

Pr [Y_{i}] \sim \exp (β_{1}^{(i)} X_{1} + \dots + β_{m}^{(i)} X_{m})

$\Pr[Y_i] \sim \exp\left(\beta_1^{(i)} X_1 + \cdots + \beta_m^{(i)} X_m\right)$

с параметрами которые будут определены, и записью для . В качестве аббревиатуры напишем правое выражение как или, если и удалены из контекста, просто . Нормализация для суммирования всех этих относительных вероятностей в единицу дает $\beta_j^{(i)}$ $Y_i$ $\Pr[Y=\text{category }i]$ $p_i(X,\beta)$ $X$ $\beta$ $p_i$

Pr [Y_{i}] = \frac{p_{i} (X, β)}{p_{1} (X, β) + \dots + p_{m} (X, β)} .

$\Pr[Y_i] =\frac{p_i(X,\beta)}{p_1(X,\beta) + \cdots + p_m(X,\beta)}.$

(Существует двусмысленность в параметрах: их слишком много. Традиционно для сравнения выбирают «базовую» категорию, и все ее коэффициенты устанавливаются равными нулю. Однако, хотя это необходимо для сообщения об уникальных оценках бета-версий, оно не нужно интерпретировать коэффициенты для поддержания симметрии -. то есть, чтобы избежать каких - либо искусственных различий между категориями - давайте не будем применять любое такое ограничение , если мы не должны).

Один из способов интерпретации этой модели - запросить предельную скорость изменения логарифмических коэффициентов для любой категории (скажем, категории ) по отношению к любой из независимых переменных (скажем, ). То есть, когда мы немного меняем , это вызывает изменение логарифмов . Нас интересует постоянная пропорциональности, связанная с этими двумя изменениями. Цепное правило исчисления вместе с небольшой алгеброй говорит нам, что скорость изменения $i$ $X_j$ $X_j$ $Y_i$

\frac{\partial log odds (Y_{i})}{\partial X_{j}} = β_{j}^{(i)} - \frac{β_{j}^{(1)} p_{1} + \dots + β_{j}^{(i - 1)} p_{i - 1} + β_{j}^{(i + 1)} p_{i + 1} + \dots + β_{j}^{(k)} p_{k}}{p_{1} + \dots + p_{i - 1} + p_{i + 1} + \dots + p_{k}} .

$\frac{\partial\ \text{log odds}(Y_i)}{\partial\ X_j} = \beta_j^{(i)} - \frac{\beta_j^{(1)}p_1 + \cdots + \beta_j^{(i-1)}p_{i-1} + \beta_j^{(i+1)}p_{i+1} +\cdots + \beta_j^{(k)}p_k}{p_1 + \cdots + p_{i-1} + p_{i+1} + \cdots + p_k}.$

Это имеет относительно простую интерпретацию как коэффициент для в формуле для вероятности того, что находится в категории минус «корректировка». Корректировка - это взвешенное по вероятности среднее значение коэффициентов во всех других категориях . Веса вычисляются с использованием вероятности , связанную с текущими значениями независимых переменных . Таким образом, предельное изменение в журналах не обязательно является постоянным: оно зависит от вероятностей всех других категорий, а не только от вероятности рассматриваемой категории (категория ). $\beta_j^{(i)}$ $X_j$ $Y$ $i$ $X_j$ $X$ $i$

Когда есть только категории, это должно сводиться к обычной логистической регрессии. Действительно, взвешивание вероятности ничего не делает и (выбирая ) дает просто разницу . Если в качестве базового случая категорию то это уменьшится до , потому что мы принудительно . Таким образом, новая интерпретация обобщает старое. $k=2$ $i=2$ $\beta_j^{(2)} - \beta_j^{(1)}$ $i$ $\beta_j^{(2)}$ $\beta_j^{(1)}=0$

Чтобы интерпретировать напрямую, мы выделим его с одной стороны предыдущей формулы, что приведет к: $\beta_j^{(i)}$

Коэффициент для категории равна предельным изменение в журнале шансы категории по отношению к переменной , плюс вероятность-взвешенное среднее коэффициентов всех остальных для категории . $X_j$ $i$ $i$ $X_j$ $X_{j'}$ $i$

Другая интерпретация, хотя и немного менее прямая, обеспечивается (временно) установкой категории в качестве базового случая, в результате чего для всех независимых переменных : $i$ $\beta_j^{(i)}=0$ $X_j$

Предельная скорость изменения логарифмов базового случая для переменной является отрицательной величиной взвешенного по вероятности среднего ее коэффициентов для всех других случаев. $X_j$

На самом деле использование этих интерпретаций обычно требует извлечения бета-версий и вероятностей из программного обеспечения и выполнения вычислений, как показано.

Наконец, для возведенных в степень коэффициентов отметим, что отношение вероятностей между двумя исходами (иногда называемое «относительным риском» по сравнению с ) $i$ $i'$

\frac{Y_{i}}{Y_{i^{'}}} = \frac{p_{i} (X, β)}{p_{i^{'}} (X, β)} .

$\frac{Y_{i}}{Y_{i'}} = \frac{p_{i}(X,\beta)}{p_{i'}(X,\beta)}.$

Давайте увеличим на одну единицу до . Это умножает на и на , откуда относительный риск умножается на = . Принятие категории в качестве базового случая приводит к уменьшению этого значения до , что заставляет нас сказать, $X_j$ $X_j+1$ $p_{i}$ $\exp(\beta_j^{(i)})$ $p_{i'}$ $\exp(\beta_j^{(i')})$ $\exp(\beta_j^{(i)}) / \exp(\beta_j^{(i')})$ $\exp(\beta_j^{(i)}-\beta_j^{(i')})$ $i'$ $\exp(\beta_j^{(i)})$

Экспоненцируется коэффициент является величина , на которую относительный риск является умноженный когда переменная увеличивается на одну единицу. $\exp(\beta_j^{(i)})$ $\Pr[Y = \text{category }i]/\Pr[Y = \text{base category}]$ $X_j$

— Whuber
источник

1

Великолепные объяснения, но ОП явно просили полиномиальную модель. Возможно, я больше разбираюсь в вопросе, чем предполагалось в ОП, и объяснение двоичного случая может быть адекватным, но я бы хотел, чтобы этот ответ также охватывал общий полиномиальный случай. Несмотря на то, что параметризация аналогична, «log-odds» в общем случае относятся к (произвольной) ссылочной категории, и они на самом деле не являются log-odds, и единичное изменение в приводит к комбинированному изменению этих «log -odds ", а увеличение" log-odds "не подразумевает и увеличения вероятности.

X_{i}

$X_i$

— NRH

@NRH Это отличный момент. Я как-то читал «многовариантный» вместо «многочленный». Если мне удастся вернуться к этому, я постараюсь уточнить эти детали. К счастью, тот же метод анализа эффективен при поиске правильной интерпретации.

— whuber

@NRH Готово. Я приветствую ваши предложения (или чьи-либо еще) о том, как сделать интерпретацию более понятной или для альтернативных интерпретаций.

— whuber

1

спасибо, что записали это. Полный ответ - очень хорошая ссылка.

— NRH

1

Попробуйте рассмотреть это немного объяснения в дополнение к тому, что @whuber уже так хорошо написал. Если exp (B) = 6, то отношение шансов, связанных с увеличением на 1 для рассматриваемого предиктора, равно 6. В полиномиальном контексте под «отношением шансов» мы подразумеваем отношение этих двух величин: а) шансы ( не вероятность, а скорее p / [1-p]) случая, принимающего значение зависимой переменной, указанной в рассматриваемой выходной таблице, и b) шансы случая, принимающего эталонное значение зависимой переменной.

Похоже, вы пытаетесь количественно оценить вероятность, а не шансы того, что дело относится к той или иной категории. Чтобы сделать это, вам нужно знать, с каких вероятностей «начался» случай, т. Е. До того, как мы предположили увеличение на 1 для рассматриваемого предиктора. Отношения вероятностей будут варьироваться от случая к случаю, в то время как отношение шансов, связанных с увеличением на 1 на предикторе, остается неизменным.

— rolando2
источник

«Если exp (B) = 6, то отношение шансов, связанных с увеличением на 1 для рассматриваемого предиктора, равно 6», если я правильно прочитал ответ @ whuber, то это говорит о том, что отношение шансов будет умножено на 6 с увеличением 1 на предиктор. То есть новый коэффициент шансов не будет равен 6. Или я неправильно истолковываю вещи?

— 2016 г.

Там, где вы говорите: «Новое соотношение шансов не будет 6», я бы сказал, что «Новое соотношение шансов не будет 6 ... но отношение новых к старым коэффициентам будет 6».

— rolando2

Да, я согласен с этим! Но я просто подумал, что «отношение шансов, связанных с увеличением на 1 для рассматриваемого предиктора, равным 6», на самом деле не говорит об этом. Но, может быть, я тогда просто неверно истолковал это. Благодарю за разъяснение!

— 2016 г.

1

Я также искал тот же ответ, но то, что было выше, меня не удовлетворяло. Казалось сложным для того, что это на самом деле. Поэтому я дам свою интерпретацию, пожалуйста, поправьте меня, если я ошибаюсь.

Однако прочитайте до конца, так как это важно.

Прежде всего, значения B и Exp (B) - это то, что вы ищете. Если B отрицателен, ваш Exp (B) будет меньше единицы, что означает уменьшение шансов. Если выше значение Exp (B) будет больше 1, что означает увеличение шансов. Так как вы умножаете на коэффициент Exp (B).

К сожалению, вы еще не там. Поскольку в полиноминальной регрессии ваша зависимая переменная имеет несколько категорий, давайте назовем эти категории D1, D2 и D3. Из которых ваш последний является справочной категорией. И давайте предположим, что вашей первой независимой переменной является пол (мужчины против женщин).

Допустим, выход для мужчин D1 -> равен exp (B) = 1,21, это означает, что для мужчин шансы увеличиваются в 1,21 раза для категории D1, а не для D3 (контрольная категория) по сравнению с женщинами (контрольная категория).

Таким образом, вы всегда сравниваете с вашей справочной категорией зависимых, но также и независимых переменных. Это не так, если у вас есть ковариатическая переменная. В этом случае это будет означать; увеличение Х на одну единицу увеличивает шансы в 1,21 раза на категории D1, а не D3.

Для тех с порядковой зависимой переменной:

Если у вас есть порядковая зависимая переменная и вы не сделали порядковую регрессию, например, из-за предположения о пропорциональных коэффициентах. Имейте в виду, что ваша высшая категория - это справочная категория. Ваш результат, как указано выше, действителен для отчета. Но имейте в виду, что увеличение шансов на самом деле означает увеличение шансов быть в более низкой категории, а не в более высокой! Но это только если у вас есть порядковая зависимая переменная.

Если вы хотите узнать увеличение в процентах, возьмите фиктивное число шансов, скажем, 100, и умножьте его на 1,21, что на 121? По сравнению с 100, насколько это изменилось в процентном отношении?

— Фико
источник

0

Скажите, что exp (b) в млогите - 1.04. если вы умножаете число на 1,04, то оно увеличивается на 4%. Это относительный риск быть в категории а вместо б. Я подозреваю, что часть этой путаницы здесь может быть связана с 4% (мультипликативное значение) и 4% (аддитивное значение). % Интерпретация верна, если мы говорим об изменении процента, а не об изменении процентного пункта. (Последнее не имеет смысла, так как относительные риски не выражены в процентах.)

— Наталия
источник