Я полагаю, вам понравится теория классификации: обзор последних достиженийБучероном, Буске и Лугоши. В частности, он начинается с построения базовой теории обобщения с помощью сложностей Радемахера, вводит некоторые полезные инструменты (например, принцип сжатия, доказательство которого вы можете отследить в заметках Шая и Шая, на которые ссылается Ашвинкумар, но (я полагаю?) Происходит из книга вероятностей от Ledoux & Talagrand, которая не является бесплатной), и применяет их к стандартным методам классификации (обсуждаются вспомогательные и опорные векторные машины, как из-за их популярности, так и потому, что они обучаются через ERM) Этот текст датируется 2005 годом, поэтому в нем также есть некоторые другие недавние темы, которые вы упомянули, например, Local Rademacher Complexities, и есть даже крошечный плагин для цепочки. Наконец, хотя рукопись довольно короткая,
Некоторые из других упомянутых вами тем достаточно стары, чтобы быть в «Вероятностной теории распознавания образов» Деврой, Дьёрфи и Лугоши (в частности, она содержит больше информации по упаковке, чем любой другой текст, который я знаю). Хотя в нем отсутствуют некоторые новые темы, которые вы упоминаете, это стандартная книга, которую все, кого я встречал в теории обучения, держали на полках. Возможно попытайтесь найти оглавление и индекс для книги, и пролистать это.
Некоторые другие темы, о которых вы упомянули, я не видел, чтобы они подробно рассматривались в книге, но они появились в ряде заметок курса. Например, если вы зайдете на страницу Шам Какаде в UPenn , вы найдете ссылки на два курса по теории обучения (один был в TTI-C, с Ambuj Tewari), и вы увидите, что ссылки на темы соответствуют тем, которые вы обсуждали. и не появилось ни в моих ответах, ни где-либо еще. Есть много хороших курсов в разных школах; Аврим Блум имеет отличные, чрезвычайно удобочитаемые заметки для своего курса по теории обучения (его анализ виндона является самым коротким, чистым и наиболее интуитивным из всех, что я когда-либо видел!).
Некоторые из них, возможно, слишком новы, и вам придется перейти к исходному материалу. Но если вы на самом деле просто пытаетесь подобрать набор методик, я думаю, что опрос на высшем уровне и лекции для пары классов по теории обучения послужат вам в долгой перспективе.
Кроме того, вы говорите так, будто ищете сложные тексты, но я также хотел бы добавить два вводных текста, которые очень нравятся людям. Одним из них является «введение в вычислительную теорию обучения» Кернса и (У.) Вазирани, которое в старости (например, повышение представлено только через оригинальную конструкцию Роберта Шапира, и акцент делается на PAC, а не на агностическом обучении), хорошо представлен и обладает хорошей интуицией. Лично я получил основы « Введение в теорию статистического обучения» от тех же авторов, что и в предыдущем обзоре (но появился в порядке «Буске, Бушерон, Лугоши»); это было хорошее изложение и было впервые, когда теория обобщения действительно начала интересоваться мной.