Рекомендации по численной оптимизации для статистиков

9

Я ищу надежную ссылку (или ссылки) на методы числовой оптимизации, предназначенные для статистиков, то есть они применили бы эти методы к некоторым стандартным выводным задачам (например, MAP / MLE в распространенных моделях). Такие вещи, как градиентный спуск (прямой и стохастический), ЭМ и его побочные эффекты / обобщения, моделируемый отжиг и т. Д.

Я надеюсь, что у него будут некоторые практические замечания по реализации (так часто не хватает документов). Это не должно быть полностью ясно, но должно по крайней мере обеспечить надежную библиографию.

Некоторый беглый поиск обнаружил пару текстов: «Численный анализ для статистиков» Кена Ланге и «Численные методы статистики» Джона Монахана. Отзывы о каждом кажутся смешанными (и редкими). Из двух таблиц оглавления можно предположить, что второе издание книги Ланге ближе всего к тому, что мне нужно.

estimation references optimization

— JMS
источник

Тема по теме: Учебники по оптимизации для статистики и анализа данных .

— Ричард Харди

5

Вычислительная статистика Джеймса Джентла (2009).

Матричная алгебра Джеймса Джентла: теория, вычисления и приложения в статистике (2007) , особенно в конце книги, начало тоже великолепно, но это не совсем то, что вы ищете.

Распознавание образов Кристофера М. Бишопа (2006).

Hastie et al. Элементы статистического обучения: интеллектуальный анализ данных, логический вывод и прогноз (2009).

Вы ищете что-то столь же низкоуровневое, как текст, который ответит на такой вопрос, как: «Почему более эффективно хранить матрицы и массивы более высокой размерности в виде одномерного массива, и как я могу их проиндексировать в обычном М»? (0, 1, 3, ...) путь? или что-то вроде «Какие распространенные методы используются для оптимизации стандартных алгоритмов, таких как градиентный спуск, ЭМ и т. д.?»?

В большинстве текстов по машинному обучению подробно обсуждаются темы, которые вы ищете.

— Филлип Облако
источник

Второе (какие распространенные приемы ...). Большинство текстов представляют модель, а затем описывают, как сделать вывод. Я ищу что-то вроде обратного, где основное внимание уделяется способам подгонки модели, а затем сравнения их в приложениях, если это имеет смысл. Есть несколько книг такого рода для MCMC, в которых они сравнивают разные сэмплеры и описывают, где они полезны, а также некоторые подводные камни (например, Gamerman & Lopes).

— JMS

Также спасибо за ссылки до сих пор. Книга Hastie et al. Довольно близка, на самом деле. Прошло много времени с тех пор, как у меня было это с полки; спасибо за подсказку :)

— JMS

5

Носедал и Райтс книга

http://users.eecs.northwestern.edu/~nocedal/book/

является хорошим справочником для оптимизации в целом, и многие вещи в их книге представляют интерес для статистики. Есть также целая глава о нелинейных наименьших квадратах.

— NRH
источник

3

Оптимизация , Кеннет Ланге (Springer, 2004), рассмотрена в JASA Расселом Стилом. Это хороший учебник с матричной алгеброй Gentle для вводного курса по матричному исчислению и оптимизации, подобный тому, который написал Ян де Леув (курсы / 202B).

— хл
источник

@chi Эта книга выглядит фантастически! Хотя я согласен с рецензентом, что есть некоторые заметные пропуски (симуляция отжига и различные стохастические EM-ароматы). Довольно странно, потому что это в их статистике, но c'est la vie

— JMS

Кроме того, вы знакомы с книгой по матричной алгебре Харвиля? Мне было бы любопытно узнать, как это сравнивается с Gentle. Я нахожу Харвилла хорошим ориентиром, но очень плотным. Только из оглавления книги Джентла мне нравится, что вся часть 2 посвящена «избранным приложениям»

— JMS,

@JMS Нет. У меня есть только учебник Нежного. (Поскольку я использую только умеренные учебники по математике в целом, кроме этого, который я нашел довольно удобным для многомерного анализа данных.) Часть 2 посвящена применению (раздел 9), а часть 3 - вопросам программного обеспечения. Домашняя страница - mason.gmu.edu/~jgentle/books/matbk

— chl,

Да, глядя на это больше, кажется, что есть больше с прикладной стороны. Книга Харвилла очень доказательна, но сфокусирована на результатах, важных для статистики; Я думаю, что они, вероятно, очень хорошо дополняют друг друга, несмотря на перекрывающийся материал.

— JMS

1

В дополнение к этому вы можете найти Magnus, JR и H. Neudecker (2007). Матричное исчисление с приложениями в статистике и эконометрике, 3-е издание полезно, хотя и тяжелый. Он разрабатывает полную обработку бесконечно малых операций с матрицами, а затем применяет их к ряду типичных статистических задач, таких как оптимизация, MLE и нелинейные наименьшие квадраты. Если в конце дня вы в конце концов поймете обратную стабильность своих матричных алгоритмов, вам понадобится хорошее понимание матричного исчисления. Я лично использовал инструменты матричного исчисления при выводе асимптотических результатов в пространственной статистике и многомерных параметрических моделях.

— Stask
источник