Вопрос интервью с исследователем данных: линейная регрессия с низким и что бы вы сделали

Я столкнулся с вопросом об интервью для работы, на которой интервьюер спросил меня, предположим, что ваш очень низок (от 5 до 10%) для модели ценовой эластичности. Как бы вы решили этот вопрос?$R^2$

Я не мог думать ни о чем другом, кроме того факта, что я буду проводить регрессионную диагностику, чтобы увидеть, что пошло не так, или следует ли применять какой-либо нелинейный метод. Почему-то я думаю, что интервьюер не был удовлетворен моим ответом. Есть ли что-то еще, что делается в таком сценарии, чтобы соответствовать модели и использовать ее для прогнозирования уровня производства, несмотря на то, что у него низкий ?$R^2$

Изменить : На более позднем этапе они дали мне данные для моделирования проблемы во время интервью, и я попытался добавить лаговые переменные, влияние цены конкурента, манекены сезонности, чтобы увидеть, если это имеет какое-то значение. увеличился до 17,6%, и его показатели на несдерживаемой выборке были низкими. Лично я думаю, что неэтично использовать такую ​​модель для прогнозирования в реальной среде, поскольку это даст ошибочные результаты и приведет к потере клиентов (представьте, что вы можете использовать рекомендацию по ценообразованию из такой модели для дохода вашей компании!). Есть ли что-то еще, что делается в таких сценариях, что слишком очевидно, что каждый должен знать? Что-то, о чем я не знаю, что мне хочется сказать «серебряная пуля»?$R^2$

Кроме того, давайте представим, что после добавления экзогенной переменной улучшается еще на 2%, что можно сделать в этом сценарии? Должны ли мы отказаться от проекта моделирования или все еще есть надежда на разработку модели качества уровня производства, о чем свидетельствует производительность на несдерживаемой выборке?$R^2$

Edit2 : я разместил этот вопрос на форуме economics.stackexchange.com для понимания этой проблемы с точки зрения экономики

Что если мы посмотрим на проблему с этой точки зрения. Ценовая эластичность - это соотношение между спросом и ценой товара.

Когда r-квадрат в этой ситуации низкий, мы можем предположить, что соотношение между ценой и спросом на этот конкретный продукт не является сильным.

С точки зрения ценообразования это может означать, что вы нашли продукт, за который вы можете установить произвольную цену без значительного влияния на спрос, ИЛИ что спрос является довольно неустойчивым, несмотря на различия в ценах.

Если вы посмотрите на товары Veblen , они являются примерами, где эластичность обратная. По мере роста цены спрос увеличивается.

Если, с другой стороны, r-квадрат низок, это может означать просто категорию товара, цена которого относительно не важна, когда дело доходит до спроса. Наверху, лекарство от рака может быть чем-то, что может прилипнуть к этому свойству. Там, где важность препарата превышает цену, которой он располагает, и не может показывать никаких изменений в спросе.

И в заключение, я предполагаю, что цель интервьюера, возможно, заключалась в том, чтобы судить, если бы вы знали, что означает значение низкого r-квадрата, вместо того, чтобы выяснить, как построить лучшую модель с более высоким r-квадратом.

Я не уверен, за чем последовал интервьюер, но когда я сталкиваюсь с плохо подготовленной моделью, это то, что я рассматриваю, и ответ, который я хотел бы услышать как интервьюер (брал интервью уже пару лет).

1. Получение дополнительных данных : это не всегда помогает, но есть несколько вещей, которые могут помочь вам оценить эффекты этого решения:

   • Запустите модель с различными размерами выборки - если результаты улучшатся с большим количеством данных, то разумно предположить, что получение большего количества данных продолжит улучшать производительность модели.
   • Соотношение объектов к выборке - после того, как вы выбрали объекты, попробуйте понять, достаточно ли выборок для каждого значения функции. Смотрите ответ на вопрос по этому вопросу .
   • Отсутствие целевых значений - эластичность может не одинаково вести себя в разных ценовых диапазонах. В ситуации, когда данные выборки смещены в сторону определенного диапазона, есть большая вероятность, что вы не сможете обобщить (например, 90% выборок для цен от 0 до 10, а остальные 10% для цен между 1000-10000). Существуют способы решения этой проблемы, кроме получения большего количества данных (разделить обучение модели, не использовать регрессию).

2. Лучшая разработка функций : если у вас достаточно данных и вы знаете о глубоком обучении, то, возможно, этот не имеет значения. Если вы не соответствуете упомянутым критериям, сфокусируйте свои усилия на этом. В моделях поведения пользователя существует множество отношений, которые наша человеческая интуиция понимает лучше, чем модель, обученная на машине.
   Как и в вашем случае, когда вы разработали несколько дополнительных функций и значительно улучшили производительность модели. Этот шаг подвержен ошибкам, поскольку он обычно включает в себя код на основе логики (If Elses / Matематические формулы).

3. Лучший выбор модели : как вы предположили, возможно, нелинейная модель будет работать лучше. Являются ли ваши данные однородными? Есть ли у вас основания полагать, что перекрестные характеристики лучше объясняют ценовую эластичность? (сезонность * цена конкурента).

4. Настройка гиперпараметров: гипер-параметры модели поиска по сетке (+ результаты перекрестной проверки) - хорошая практика, но, насколько я знаю, она редко значительно повышает производительность (конечно, не с 5% до 90%).

Есть еще вещи, которые можно сделать, но эти пункты достаточно общие.

В дополнение к тому, что предложили @DaFanat и @Arun, я хотел бы добавить, что некоторые визуальные проверки могут помочь.

Например, это может быть случай, когда некоторые выбросы влияют на ваш . Работая над проблемами управления доходами, мне приходилось постоянно исследовать влиятельные моменты . Очень часто выбросы ассоциировались с конкретными одноразовыми событиями, такими как рекламные кампании, скидки и т. Д.$R^2$