Группа 1 :
Сложность / скорость группы 1. кажется, не слишком сложно выяснить, используются ли алгоритмы грубой силы (хотя могут быть более эффективные альтернативы, такие как алгоритм «скачков и границ»). Например, полный выбор подмножества потребует регрессий, чтобы соответствовать, учитывая пул K возможностей кандидата. Подход OLS одной линейной регрессии имеет сложность O ( K 2 n ) (согласно этому посту ), где n - размер выборки. Следовательно, общая сложность выбора полного подмножества методом грубой силы должна быть O ( 2 K K 2).2ККО ( К2н )N .O ( 2КК2н )
Группа 2 :
Сложность / скорость группы 2. обсуждается в разделах 3.8 и 3.9 книги. Например, регрессия гребня с заданным штрафом имеет ту же вычислительную сложность, что и регулярная регрессия. Поскольку λ необходимо найти с помощью перекрестной проверки, вычислительная нагрузка линейно увеличивается в количестве разделений данных, используемых при перекрестной проверке (скажем, S ). Если сетка λ имеет L точек, общая сложность регрессии гребня с настройкой параметра λ будет O ( L S K 2 n ) .λλSλLλO (LSК2н )
В книге довольно много разговоров о LASSO , но я не смог найти то, что мне нужно. Однако я нашел на с. 443 Efron et al. «Регрессия наименьшего угла» (2004), что сложность LASSO для данного такая же, как сложность подгонки OLS линейной регрессии, если используется метод LARS. Тогда общая сложность LASSO с настройкой параметра λ будет O ( L S K 2 n ) . (Я не читал эту статью внимательно, поэтому, пожалуйста, поправьте меня, если я ошибся.) Эластичная сетка сочетает в себе гребень и LASSO; оба имеют одинаковую вычислительную сложность; следовательно, сложность эластичной сетки должна бытьλλO (LSК2н )
где A - размер сетки параметра настройки α, который балансирует вес гребня по сравнению с LASSO.O (ALSК2н )Aα
Группа 3 :
Мне все еще не хватает заметки о сложности / скорости для группы 3. Она состоит из регрессии главных компонентов (PCR) и частичных наименьших квадратов (PLS).