Хорошие учебные пособия по гиббсу

29

Я хочу узнать, как работает выборка Гиббса, и я ищу хорошую базовую и промежуточную статью. У меня есть опыт работы в области компьютерных наук и базовые статистические знания.

Кто-нибудь прочитал хороший материал вокруг? где ты это узнал?

Благодарность

references gibbs

— fabrizioM
источник

2

Погуглить «выборку Гиббса» - неплохой способ получить широкий круг мнений по этому вопросу. Я думаю, что это хороший способ начать, потому что вы склонны подходить к нему с «скептическим умом» - вы не можете воспринимать слова googles как должное, поэтому вам нужно найти диапазон мнений. Конечно, вам может понадобиться авторитетный источник на более позднем этапе, когда вы попытаетесь реализовать. Но начинать с «авторитетного источника» не всегда самая лучшая идея, потому что они могут быть совершенно привязаны к определенному способу что-то делать - то есть они знают «правильный путь» и «все остальные неправильны или неэффективны».

— вероятностная

3

(+1) Вопросы, на которые легко отвечает Googling, обычно не приветствуются, но в этом IMO делается попытка извлечь выгоду из коллективной мудрости сообщества так, как это не может сделать рейтинг Google. Было бы интересно узнать, какие источники люди действительно находят полезными для изучения этого материала.

— whuber

4

Это проблема. Google возвращает слишком много результатов, и не все статьи или учебные пособия достаточно ясны.

— fabrizioM

19

Я бы начал с:

Казелла, Джордж; Джордж, Эдвард I. (1992). « Объясняя сэмплер Гиббса ». Американский статистик 46 (3): 167–174. ( БЕСПЛАТНО PDF )

Аннотация : Интенсивные компьютерные алгоритмы, такие как сэмплер Гиббса, становятся все более популярными статистическими инструментами как в прикладной, так и в теоретической работе. Однако свойства таких алгоритмов иногда могут быть неочевидными. Здесь мы даем простое объяснение того, как и почему работает сэмплер Гиббса. Мы аналитически устанавливаем его свойства в простом случае и даем представление для более сложных случаев. Есть также ряд примеров.

Американский статистик часто является хорошим источником для коротких вводных статей, которые не предполагают какого-либо предварительного знания темы, хотя они предполагают, что у вас есть опыт в вероятности и статистике, которую можно разумно ожидать от члена американской Статистическая ассоциация .

— универсальный
источник

12

Одна онлайн-статья, которая действительно помогла мне понять выборку Гиббса, - оценка параметров для анализа текста Грегором Генрихом. Это не общее учебное пособие по сэмплингу Гиббса, но оно обсуждается с точки зрения скрытого распределения дирихле, довольно популярной байесовской модели для моделирования документов. Это входит в математику довольно подробно.

Еще более исчерпывающие математические подробности - это выборка Гиббса для Непосвященных . И я имею в виду исчерпывающий, поскольку он предполагает, что вы знаете некоторое многомерное исчисление, а затем выкладываете каждый шаг с этой точки. Так что, хотя математики много, она не продвинута.

Я предполагаю, что они будут более полезны для вас, чем то, что дает более продвинутые результаты, например те, которые доказывают, почему выборка Гиббса сходится к правильному распределению. Ссылки, на которые я указываю, не доказывают этого.

— JasonMond
источник

2

Книга « Стратегии Монте-Карло в научных вычислениях» - отличный ресурс. Он решает математически строгие вопросы, но вы можете легко пропустить математические разделы, которые вас не интересуют, и при этом получить массу практических советов. В частности, он делает хорошую работу по объединению выборки Метрополис-Гастингс и Гиббса, что имеет решающее значение. В большинстве приложений вам нужно рисовать из апостериорного распределения с использованием выборки Гиббса, поэтому полезно знать, как оно вписывается в логику Metropolis в целом.

— Ely
источник