Вывод против оценки?

Каковы различия между «выводом» и «оценкой» в контексте машинного обучения ?

Как новичок, я чувствую , что мы заключаем случайные величины и оценку параметров модели. Правильно ли это понимание?

Если нет, то какие именно различия, и когда я должен использовать какие?

Кроме того, какой из них является синонимом «учиться»?

Статистический вывод сделан из всей совокупности выводов, которые можно сделать из данного набора данных и соответствующей гипотетической модели, включая соответствие указанной модели. Цитировать из Википедии ,

Логический вывод - это акт или процесс получения логических выводов из предпосылок, известных или предполагаемых истинными.

а также,

Статистический вывод использует математику, чтобы делать выводы при наличии неопределенности.

Оценка - это всего лишь один аспект логического вывода, в котором неизвестные параметры (связанные с гипотетической моделью, сгенерировавшей данные) заменяются оптимальными решениями на основе данных (и, возможно, предварительной информации об этих параметрах). Это всегда должно быть связано с оценкой неопределенности сообщенных оценок, оценка, которая является неотъемлемой частью логического вывода.

Максимальная вероятность - это один из примеров оценки, но он не охватывает весь вывод. Напротив, байесовский анализ предлагает полную машину вывода.

В то время как оценка сама по себе направлена ​​на получение значений неизвестных параметров (например, коэффициентов в логистической регрессии или в разделяющей гиперплоскости в машинах опорных векторов), статистический вывод пытается присоединить меру неопределенности и / или утверждение вероятности к значения параметров (стандартные ошибки и доверительные интервалы). Если модель, которую предполагает статистик, является приблизительно правильной, то при условии, что новые входящие данные продолжают соответствовать этой модели, в заявлениях о неопределенности может содержаться некоторая доля правды, и они позволяют определить, как часто вы будете совершать ошибки при использовании модель для принятия ваших решений.

$\mu$$\sigma^2$σ 2 /$\mu$$\sigma^2/n$ независимо от формы распределения исходных данных).

Самым близким к этому машинному обучению является перекрестная проверка, когда выборка разбита на обучающую и проверочную части, причем последняя фактически говорит: «Если новые данные выглядят как старые данные, но совершенно не связаны с данными, которые был использован при настройке моей модели, то реалистичный показатель частоты ошибок такой-то " Он выводится полностью эмпирически, выполняя ту же модель на данных, а не пытаясь вывести свойства модели, делая статистические предположения и привлекая любые математические результаты, такие как приведенный выше CLT. Возможно, это более честно, но так как использует меньше информации и, следовательно, требует больших размеров выборки. Кроме того, это неявно предполагает, что процесс не меняется,

Хотя фраза «вывод сзади» может иметь смысл (я не байесовец, я не могу точно сказать, какова принятая терминология), я не думаю, что в этом логическом шаге есть какие-либо предположения. Все байесовские предположения: (1) в предыдущем и (2) в предполагаемой модели, и после того, как они установлены, апостериор следует автоматически (по крайней мере, теоретически с помощью теоремы Байеса; практические шаги могут быть чрезвычайно сложными, и Сиппс Азартные игры ... извините, выборка Гиббса может быть относительно простым компонентом в этом заднем плане). Если «вывод сзади» относится к (1) + (2), то для меня это разновидность статистического вывода. Если (1) и (2) указаны отдельно, а затем «вывод задний» - это что-то еще, то я не

Предположим, у вас есть репрезентативная выборка населения.

Вывод - это когда вы используете эту выборку для оценки модели и заявляете, что результаты могут быть распространены на всю совокупность с определенной точностью. Делать выводы - значит делать предположения о населении, используя только репрезентативную выборку.

Оценка - это когда вы выбираете модель, соответствующую вашему образцу данных, и рассчитываете с определенной точностью параметры этой модели. Это называется оценкой, потому что вы никогда не сможете рассчитать истинные значения параметров, поскольку у вас есть только выборка данных, а не вся совокупность.

Это попытка дать ответ любому, кто не имеет опыта в статистике. Для тех, кто интересуется более подробной информацией, есть много полезных ссылок ( таких как эта, например ) на эту тему.

Краткий ответ:

$->$

$->$

Длинный ответ:

Термин «оценка» часто используется для описания процесса нахождения оценки для неизвестного значения, в то время как «умозаключение» часто относится к статистическому выводу, процессу обнаружения распределений (или характеристик) случайных величин и их использования для получения выводов.

Подумайте об ответе на вопрос: какого роста средний человек в моей стране?

Если вы решите найти оценку, вы можете прогуляться пару дней и измерить незнакомцев, которых вы встретите на улице (создать образец), а затем рассчитать свою оценку, например, как среднее значение по вашей выборке. Вы только что сделали некоторую оценку!

С другой стороны, вы можете захотеть найти больше, чем некоторая оценка, которая, как вы знаете, представляет собой одно число и обязательно ошибается. Вы можете попытаться ответить на вопрос с определенной уверенностью, например: я на 99% уверен, что средний рост человека в моей стране составляет от 1,60 до 1,90 м.

Чтобы сделать такое заявление, вам необходимо оценить распределение людей по возрасту по высоте и сделать свои выводы на основе этих знаний, что является основой статистического вывода.

Важно помнить (как указано в ответе Сианя), что нахождение оценки является частью статистического вывода.

Что ж, сегодня есть люди из разных дисциплин, которые делают свою карьеру в области ОД, и вполне вероятно, что они говорят на немного разных диалектах.

Однако, какими бы терминами они ни пользовались, лежащие в их основе понятия различны. Поэтому важно прояснить эти понятия, а затем перевести эти диалекты так, как вы предпочитаете.

Например.

В PRML епископом

$p(C_k|x)$

Так что, похоже, что здесь Inference= Learning=Estimation

Но в другом материале умозаключения могут отличаться от оценки, где inferenceсреднее predictionвремя estimationозначает процедуру изучения параметров.

В контексте машинного обучения, умозаключение относится к акту обнаружения настроек скрытых (скрытых) переменных с учетом ваших наблюдений. Это также включает в себя определение апостериорного распределения ваших скрытых переменных. Оценка, по-видимому, связана с «точечной оценкой», которая заключается в определении параметров вашей модели. Примеры включают оценку максимального правдоподобия. В максимизации ожидания (EM) на этапе E вы делаете вывод. На шаге М вы выполняете оценку параметров.

Я думаю, что слышу, как люди говорят «сделать вывод о заднем распределении», а не «оценить заднее распределение». Последний не используется в обычном точном выводе. Он используется, например, при распространении ожидания или вариационном байесовском анализе, где вывод точного апостериора является неразрешимым, и необходимо сделать дополнительные предположения относительно апостериорного. В этом случае предполагаемый апостериорный является приблизительным. Люди могут сказать «приблизительный задний» или «оценить задний».

Все это только мое мнение. Это не правило.

Я хочу добавить к ответам других, расширив часть «логический вывод». В контексте машинного обучения интересным аспектом логического вывода является оценка неопределенности. Как правило, это сложно с алгоритмами ML: как поместить стандартное отклонение в метку классификации, которую выделяет нейронная сеть или дерево решений? В традиционной статистике предположения о распределении позволяют нам выполнять математику и выяснять, как оценивать неопределенность параметров. В ML не может быть ни параметров, ни предположений о распределении, ни того, ни другого.

Был достигнут некоторый прогресс в этих областях, некоторые из которых были сделаны совсем недавно (более поздние, чем текущие ответы). Одним из вариантов, как уже упоминали другие, является байесовский анализ, где ваш апостериорный дает оценки неопределенности. Методы начальной загрузки хороши. Стефан Вейджер и Сьюзен Эти из Стэнфорда за последние пару лет получили некоторую работу по выводу случайных лесов . Кстати, BART - это метод байесовского ансамбля деревьев, который дает апостериор, из которого можно сделать вывод.