Происхождение термина «регуляризация»


27

Когда я знакомлю студентов с концепциями, мне часто бывает весело рассказывать им о происхождении терминологии (например, «регрессия» - это термин с интересным происхождением). Я не смог открыть историю / историю термина «регуляризация» в статистическом / машинном обучении.

Итак, каково происхождение термина регуляризация ?


1
Я думаю, что регрессия восходит к Гальтону. Стив Стиглер сказал, что всякий раз, когда кто-то заявляет, что он первый, он оказывается неправым. Многие люди думают, что Эфрон был первым, кто ввел термин «бутстрап» в контексте статистики. Однако Саймон утверждал, что использовал его в начале 1960-х годов. Существует множество различных применений регуляризации в математике и статистике. В Википедии: en.wikipedia.org/wk/Regularization_(matmatics) .
Майкл Р. Черник

Так много методов, так много возможных первых.
Майкл Р. Черник

3
@MichaelChernick Я предпочитаю термин Тьюки для начальной загрузки, «Дробовик», так как он отбросит голову из любой вашей проблемы, за исключением того, что вы должны собрать все вместе :)
AdamO

6
Я знаю, что этот термин широко использовался до 1980-х годов. Тихонов, Арсенин, 1977 г. написали текст «Решение некорректных задач», в котором описан метод получения сглаженных решений линейных уравнений с чрезмерной спецификацией, результат, который позже был найден эквивалентным регрессии Риджа (см. Girard 1991). Я думаю, что Тихонов использовал название «Метод регуляризации». Я также думаю, что Хести абстрагировал «регуляризацию» таким образом, который отражает ее современное использование.
AdamO

5
Такие термины, как «регуляризация последовательностей», существуют в математике в течение длительного времени (безусловно, с 1920-х годов), что имеет значение, довольно тесно связанное с регуляризацией некорректных задач. Я подозреваю, что использование слова в математике вытекает из его использования в технике (например, «регуляризация потока»).
Glen_b

Ответы:


18

Подобно вкладу Мэтью Ганна , это тоже не ответ, а скорее правдоподобный кандидат.

Я также впервые услышал о термине «регуляризация» в контексте регуляризации Тихонова и, в частности, в контексте (линейных) обратных задач в геофизике. Интересно, что, хотя я и думал, что это, вероятно, связано с моей областью обучения (т. Е. Смотри мое имя пользователя), по-видимому, Тихонов фактически сделал большую часть своей работы в этой области!

Я догадываюсь, что современный подход к «регуляризации», вероятно , возник из работы Тихонова. Опираясь на это предположение, мой вклад здесь состоит из двух частей.

Первая часть (кресло) носит исторический характер (основана на прочтении бумажных заголовков и моих собственных предубеждениях!). В то время как статья 1963 г. « Решение некорректно сформулированных задач и метод регуляризации, по-видимому, является первым использованием термина« регуляризация », я не был бы слишком уверен, что это правда. Эта ссылка цитируется в Википедии как

Тихонов А.Н. (1963). "Решение проблемы и метод регуляции". Доклады Академии наук СССР. 151: 501–504. Переведено в «Решение некорректно сформулированных задач и метод регуляризации». Советская математика. 4: 1035–1038.

создается впечатление, что сам Тихонов написал хотя бы часть этой работы на русском языке, поэтому фразу «регуляризация» мог придумать более поздний переводчик. [ОБНОВЛЕНИЕ: Нет, «регуляризация» = регуляризация , см. Комментарий Кагдаса Озгенца.] Более того, эта работа, кажется, является частью непрерывной линии исследований, проводимых Тихоновым в течение гораздо более длительного времени . Например, бумага

Тихонов Андрей Николаевич (1943). "Об устойчивости обратных задач". Доклады Академии наук СССР. 39 (5): 195–198.

показывает, что он занимался той же общей темой по крайней мере 20 лет назад. Однако этот график предполагает, что, вероятно, работа по обратной задаче началась гораздо ближе к 1963 году, чем к 1943 году.

[ ОБНОВЛЕНИЕ: этот перевод статьи 1943 года показывает, что термин « регулярность » здесь использовался для обозначения «устойчивости обратной задачи (или непрерывности обратного отображения)» .]

Вторая часть моего вклада - это гипотеза о том, как «регуляризация» могла быть изначально задумана в этом контексте. Обычно «регулярный» используется как синоним «гладкого», в частности, при описании геометрии кривой и / или поверхности. В большинстве приложений геофизики желаемым решением является некоторая сеточная оценка пространственно распределенного поля , а регуляризация Тихонова используется для наложения гладкости заранее.

(Матрица Тихонова, как правило, представляет собой дискретный оператор пространственной производной , похожий на матрицы PDE, в сравнении с единичной матрицей регрессии гребня. Это происходит потому, что для этих сеток / прямых моделей нуль-пространство матрицы прямой модели имеет тенденцию включать такие вещи, как «режимы шахматной доски», которые загрязняют результаты, если не оштрафованы; похоже на это ).

Обновление: эти вопросы проиллюстрированы в моем ответе здесь .


Резюме

  1. Я также проголосовал за Тихонова как инициатора (вероятно, около 1963 г.)
  2. Исходными приложениями могло быть геофизическое обратное моделирование, поэтому термин «регуляризация» может относиться к тому, чтобы сделать результирующие карты * более гладкими, то есть «регулярными».

U[Икс]знак равноF[θ]θзнак равноF-1[U]


10
1963 г. Статья содержит «регуляризацию» в русской версии заглавия. Если кто-то не переводил на английский, а Тихонов не переводил название обратно к фонетическому прочтению, оно есть на оригинале. "О правилах исправления поставленных задач и методов регуляризации"
Cagdas Ozgenc

14

Это часть ответа, часть длинного комментария. Неполный список кандидатов:

  1. Тихонов Андрей. «Решение некорректно сформулированных задач и метод регуляризации». Советская математика Докл .. Том. 5. 1963. Тихонов известен Тихоновской регуляризацией (также известной как регрессия гребня).

  2. Есть понятие регуляризации в физике, которое восходит по крайней мере к 1940-м годам, но я не вижу никакой связи с регуляризацией Тихонова? (Я не физик, хотя.)

  3. Инженерные тексты говорят о регуляризации реки (для улучшения судоходства), восходящей по крайней мере к 1880-м годам.

Просматривая http://books.google.com , я не вижу широкого использования термина «регуляризация» до 1970-х годов, когда он начинает появляться снова и снова и снова в контексте книг по математике и физике.


5
1. это определенно кандидат. Однако я не думаю, что 2. или 3. соответствуют математической концепции регуляризации, за которой следует OP. Википедия соглашается с тем, что они сделали «регуляризация (математика)» и «регуляризация (физика)» отдельными статьями.
Гордон Смит

3

Проще говоря, этот термин пережил естественную эволюцию научных терминов, поскольку он отражает основную цель метода: из множества решений некорректной проблемы он выбирает правильные решения , то есть

согласно правилу

(свободный словарь определение )

Это также используется на общем языке для проектирования гладкой поверхности, например, в столярных изделиях. Точно так же решения регрессионной задачи будут выглядеть более регулярно, если правило состоит в том, чтобы минимизировать общее отклонение (TV) негладких битов восстановленного сигнала (например, измеряемого общей энергией градиента).

0

Используя наш сайт, вы подтверждаете, что прочитали и поняли нашу Политику в отношении файлов cookie и Политику конфиденциальности.
Licensed under cc by-sa 3.0 with attribution required.