Почему исследователи в области экономики используют линейную регрессию для бинарных переменных отклика?


13

В последнее время мне пришлось читать несколько статей по экономике (область, с которой я не слишком знаком). Одна вещь, которую я заметил, это то, что даже когда переменная отклика является двоичной, модели линейной регрессии, использующие OLS, повсеместны. Поэтому мой вопрос:

Почему линейная регрессия предпочтительнее, например, логистической регрессии в области экономики? Это обычная практика или эта процедура активно пропагандируется (в статьях, учителями и т. Д.)?

Обратите внимание, что я не спрашиваю, почему использование линейной регрессии с двоичным ответом может быть плохой идеей, или каковы альтернативные методы. Напротив, я спрашиваю, почему люди используют линейную регрессию в этой ситуации, потому что я знаю ответы на эти два вопроса.


5
Можете привести примеры?
Стефан Коласса

7
Это не правильно. Экономика и эконометрика также имеют обширную литературу по логиту и пробиту и связанным с ними моделям. Я тоже посторонний, и я не могу легко дать количественную оценку относительного использования, но литература достаточно велика, чтобы опровергнуть «вездесущий» (то есть везде!). Здесь возникает вопрос о том, почему вообще используется так называемая линейная вероятностная модель, и я не думаю, что объяснение должно быть глубоким или трудным для поиска: его легко понять, а иногда оно работает адекватно.
Ник Кокс

3
Экономика имеет очень случайные отношения с математикой. Я бы не слишком волновался об этом.
Sycorax сообщает, что восстановит Монику

1
@ Sycorax У меня похожее чувство. И если кто-то небрежно относится к математике, он / она все еще сможет построить что-то, что «работает».
Haitao Du

1
@Sycorax Это не правда и не справедливо. Конечно, утверждение, что «Вы не будете слишком беспокоиться об этом», не отвечает на этот вопрос. В зависимости от подотрасли, экономика может иметь очень прочные отношения с математикой и статистикой. Просто экономисты часто занимаются причинно-следственной связью, хотя им также приходится иметь дело с данными наблюдений (как это делают многие социальные науки). Это крайне затрудняет установление строгой математической строгости без какой-либо экономической интуиции.
СТАТИ

Ответы:


18

Это сообщение в блоге эконометрики Дейва Джайлса в основном описывает недостатки линейной вероятностной модели (LPM).

Тем не менее , он включает краткий список причин, по которым исследователи решили использовать его:

  • Это вычислительно проще.
  • Проще интерпретировать «предельные эффекты».
  • Это позволяет избежать риска неправильной спецификации «функции связи».
  • Есть осложнения с Logit или Probit, если у вас есть эндогенные фиктивные регрессоры.
  • Предполагаемые предельные эффекты от моделей LPM, Logit и Probit обычно очень похожи, особенно если у вас большой размер выборки.

Я не знаю, что LPM - это все, что обычно используется по сравнению с логитом или пробитом, но некоторые из этих причин выше понятны для меня.


2
+1, спасибо за термин «Линейная вероятностная модель», раньше не знал.
Haitao Du

1
Об этом есть большой раздел в «Экономически неопасной экономике» Ангриста и Пишке, если вам интересно больше.
shf8888

2

У меня были похожие вопросы, когда читал статьи из других областей. И задал много вопросов, связанных с этим, например, в сообществе Data Data Mining: зачем использовать квадратичные потери по вероятностям вместо логистических потерь?

Здесь я представлю много личных мнений.


Я чувствую, что функция потери не имеет большого значения во многих случаях практического использования. Некоторые исследователи могут знать больше о квадрате потерь и строить его систему, она все еще работает и решает реальные проблемы. Исследователи могут никогда не узнать логистическую потерю или потерю петли, и захотят попробовать. Кроме того, они, возможно, не заинтересованы в поиске оптимальной математической модели, но хотят решать реальные задачи, которые никто не пытался решить раньше.

Это еще один пример: если вы проверите этот ответ на мой вопрос, все они похожи. Каково влияние выбора различных функций потерь в классификации для приблизительной оценки 0-1?


Больше мыслей: исследование машинного обучения может потратить много времени на то, какую модель выбрать, и как оптимизировать модель. Это потому, что исследователь машинного обучения может не иметь возможности собирать больше данных / получать больше мер. И работа исследователя машинного обучения становится лучше по математике, а не лучше решает конкретную проблему реального мира.

С другой стороны, в реальном мире, если данные лучше, они бьют все. Таким образом, выбор нейронной сети или случайного леса может не иметь большого значения. Все эти модели похожи на человека, который хочет использовать машинное обучение в качестве инструмента для решения реальных проблем. Человек, не заинтересованный в разработке математики или инструментов, может тратить больше времени на использование определенных знаний предметной области, чтобы улучшить систему.

Как я уже упоминал в комментарии. И если кто-то небрежно относится к математике, он / она все еще сможет построить что-то, что работает.


1
(+1) Это много "цитат" hxd, что они предназначены для общения? «Работает» означает «они думают, что это работает, но это не так» или это означает «Сорта работает»?
Мэтью Друри,

@MatthewDrury спасибо за комментарий. Я думаю, что у меня было много личных чувств, и я не знаю, как их записать. Я думаю, что многие из них не являются формальными или слишком субъективными. Вот почему у меня было много цитат.
Haitao Du

Я думаю, что более ясно, просто пометить их как личное мнение. Это то, что я делаю в классе со студентами: «Это граничит с личным мнением, но SVMs отстой» (не реальный пример, или это ...)
Мэтью Друри,

@ MatthewDrury спасибо, что посоветовали мне написать, нет, в ответе нет кавычек!
Haitao Du
Используя наш сайт, вы подтверждаете, что прочитали и поняли нашу Политику в отношении файлов cookie и Политику конфиденциальности.
Licensed under cc by-sa 3.0 with attribution required.