Должна ли скупость действительно оставаться золотым стандартом?

Просто мысль:

Экономные модели всегда были стандартным выбором при выборе модели, но насколько этот подход устарел? Мне любопытно, насколько наша склонность к скупости является пережитком времени абаки и правил скольжения (или, что более серьезно, нетрадиционных компьютеров). Сегодняшние вычислительные мощности позволяют нам создавать все более сложные модели с еще большими возможностями для прогнозирования. В результате этого растущего потолка вычислительной мощности, нам действительно все еще нужно стремиться к простоте?

Несомненно, более простые модели легче понять и интерпретировать, но в эпоху постоянно растущих наборов данных с большим числом переменных и смещением в сторону большего внимания к возможностям прогнозирования, это, возможно, уже не будет достижимым или необходимым.

Мысли?

Оригинальный ответ @ Matt отлично описывает одно из преимуществ скупости, но я не думаю, что он действительно отвечает на ваш вопрос. На самом деле скупость не золотой стандарт. Не сейчас и никогда не было. «Золотой стандарт», связанный с экономией - это ошибка обобщения. Мы хотели бы разработать модели, которые не подходят. Это так же полезно для прогнозирования (или как интерпретируемое или с минимальной ошибкой) вне выборки, так и в выборке. Оказывается (из-за вышеизложенного), что скупость на самом деле является неплохим прокси для ошибки обобщения, но она ни в коем случае не единственная.

В самом деле, подумайте о том, почему мы используем перекрестную проверку или загрузку или наборы обучающих / тестовых данных. Цель состоит в том, чтобы создавать модели с хорошей точностью обобщения. В большинстве случаев эти способы оценки производительности выборки приводят к выбору моделей с меньшей сложностью, но не всегда. В качестве крайнего примера представьте, что оракул передает нам истинную, но чрезвычайно сложную модель и бедную, но экономную модель. Если бы скупость действительно была нашей целью, то мы бы выбрали второе, но на самом деле первое - это то, что мы хотели бы узнать, если бы могли. К сожалению, часто последнее предложение является кикером, «если бы мы могли».

Экономные модели желательны не только из-за вычислительных требований, но и для производительности обобщения. Невозможно достичь идеала бесконечных данных, которые полностью и точно охватывают пространство выборки, а это означает, что непарноправные модели могут переопределять и моделировать шум или идиосинкразии в совокупности выборок.

Конечно, возможно построить модель с миллионами переменных, но вы будете использовать переменные, которые не влияют на результат, для моделирования системы. Вы можете достичь высокой прогнозирующей производительности в своем наборе обучающих данных, но эти нерелевантные переменные, скорее всего, снизят вашу производительность в невидимом наборе тестов.

Если выходная переменная действительно является результатом миллиона входных переменных, то было бы неплохо поместить их все в модель прогнозирования, но только если у вас достаточно данных . Чтобы точно построить модель такого размера, вам понадобится как минимум несколько миллионов точек данных. Скупые модели хороши тем, что во многих реальных системах набор данных такого размера просто недоступен, и, кроме того, выходные данные в значительной степени определяются относительно небольшим числом переменных.

Я думаю, что предыдущие ответы делают хорошую работу, чтобы подчеркнуть важные моменты:

• Экономные модели, как правило, имеют лучшие характеристики обобщения.
• Скупость - это не золотой стандарт, а просто соображение.

Я хочу добавить несколько комментариев, которые вытекают из моего повседневного опыта работы.

Обобщение аргумента о предсказательной точности, конечно, является сильным, но в своей направленности оно является академическим уклоном. В целом, при создании статистической модели экономика не такова, что прогнозирующая эффективность является полностью доминирующим фактором. Очень часто существуют большие внешние ограничения на то, как выглядит полезная модель для данного приложения:

• Модель должна быть реализована в существующей структуре или системе.
• Модель должна быть понятна нетехническому субъекту.
• Модель должна быть эффективной в вычислительном отношении.
• Модель должна быть документируемой .
• Модель должна соответствовать нормативным ограничениям .

В реальных областях применения многие, если не все, эти соображения предшествуют , а не после прогнозирующей производительности, и оптимизация формы и параметров модели ограничена этими желаниями. Каждое из этих ограничений смещает ученого в сторону экономии.

Возможно, это правда, что во многих областях эти ограничения постепенно снимаются. Но это действительно удачливый ученый, который игнорирует их и фокусируется исключительно на минимизации ошибки обобщения.

Это может быть очень расстраивающим впервые ученого, только что окончившего школу (это определенно было для меня, и продолжает оставаться, когда я чувствую, что ограничения, наложенные на мою работу, не оправданы). Но, в конце концов, усердно работать над созданием неприемлемого продукта - пустая трата времени, и это чувствует себя хуже, чем укол вашей научной гордости.

Я думаю, что это очень хороший вопрос. На мой взгляд скупость переоценена. Природа редко бывает скупой, и поэтому мы не должны ожидать, что точные предсказательные или описательные модели будут такими же. Что касается вопроса интерпретируемости, если вы выбираете более простую модель, которая лишь скромно соответствует реальности только потому, что вы можете ее понять, что именно вы понимаете? Предполагая, что более сложная модель обладает лучшей предсказательной силой, она все равно будет ближе к фактическим фактам.

Скупость не золотое начало. Это аспект в моделировании. Моделирование и особенно прогнозирование не могут быть написаны в сценарии, то есть вы не можете просто передать сценарий для разработчика. Вы скорее определяете принципы, на которых должен базироваться процесс моделирования. Таким образом, скупость является одним из этих принципов, применение которых не может быть написано в сценарии (снова!). Моделер будет учитывать сложность при выборе модели.

Вычислительная мощность имеет мало общего с этим. Если вы работаете в отрасли, ваши модели будут использовать деловые люди, специалисты по продуктам, кто бы вы их ни называли. Вы должны объяснить им свою модель, это должно иметь для них смысл . Наличие скупых моделей помогает в этом отношении.

Например, вы прогнозируете продажи продукта. Вы должны быть в состоянии описать, что является драйверами продаж и как они работают. Они должны быть связаны с понятиями, с которыми работает бизнес, а бизнес должен понимать и принимать их взаимосвязи . Со сложными моделями может быть очень трудно интерпретировать результаты модели или приписать различия фактическим. Если вы не можете объяснить свои модели бизнесу, он вас не оценит.

Еще одна вещь, которая особенно важна для прогнозирования. Допустим, ваша модель зависит от N экзогенных переменных. Это означает, что вы должны сначала получить прогнозы этих переменных, чтобы спрогнозировать вашу зависимую переменную. Меньшее N облегчает вашу жизнь, поэтому проще использовать более простую модель.

Возможно, я рассмотрю Информационный критерий Акаике , концепцию, которую я обнаружил только по счастливой случайности вчера. AIC стремится определить, какая модель и сколько параметров являются наилучшим объяснением для имеющихся наблюдений, а не какой-либо базовый подход Бритвы Оккама или скупость.