Вопросы с тегом «online»

В чем разница между автономным и онлайн обучением ? Это просто вопрос обучения по всему набору данных (в автономном режиме) или обучения постепенно (по одному экземпляру за раз)? Какие примеры алгоритмов используются в обоих?

38 machine-learning  online 

В документе «Точное вычисление текущей дисперсии» по адресу http://www.johndcook.com/standard_deviation.html показано, как вычислить среднее значение, дисперсию и стандартные отклонения. Существуют ли алгоритмы, в которых параметры модели линейной или логистической регрессии можно аналогичным образом «динамически» обновлять при предоставлении каждой новой записи обучения?

32 regression  logistic  online 

В последнее время я работал с большими наборами данных и нашел много статей о потоковых методах. Назвать несколько: Follow-the-Regularized-Leader и зеркальный спуск: теоремы об эквивалентности и регуляризация L1 ( http://jmlr.org/proceedings/papers/v15/mcmahan11b/mcmahan11b.pdf ) Потоковое обучение: однопроходные SVM ( http://www.umiacs.umd.edu/~hal/docs/daume09onepass.pdf ) Pegasos: первичный оцененный суб-GrAdient SOlver для SVM http://ttic.uchicago.edu/~nati/Publications/PegasosMPB.pdf или здесь: может ли …

25 machine-learning  references  large-data  online 

У меня есть массив из nnn реальных значений, который имеет среднее значение μoldμold\mu_{old} и стандартное отклонение σoldσold\sigma_{old} . Если элемент массива xixix_i заменяется другим элементом , то новое среднее значение будетxjxjx_j μnew=μold+xj−xinμnew=μold+xj−xin\mu_{new}=\mu_{old}+\frac{x_j-x_i}{n} Преимущество этого подхода в том, что он требует постоянного вычисления независимо от значения . Есть ли какой-либо подход …

16 standard-deviation  online 

У меня есть небольшая проблема, которая заставляет меня волноваться. Я должен написать процедуру для онлайн-процесса приобретения многомерного временного ряда. На каждом временном интервале (например, 1 секунда) я получаю новую выборку, которая в основном представляет собой вектор с плавающей запятой размера N. Операция, которую мне нужно сделать, немного сложнее: Для каждого …

16 algorithms  quantiles  online  large-data 

В настоящее время я читаю статью « Эффективное онлайн и пакетное обучение с использованием прямого и обратного разделения » Джона Дючи и Йорама Сингера. Я очень смущен использованием терминов «Онлайн» и «Пакетный режим». Я подумал: «Онлайн» означает, что мы обновляем весовые параметры после обработки одной единицы тренировочных данных. Затем мы …

16 machine-learning  online  gradient-descent 

Общий вопрос Скажем, у нас есть потоковые данные , , ... . Мы хотим рекурсивно вычислить оценку максимального правдоподобия \ boldsymbol {\ theta} . То есть, вычислив \ hat {\ boldsymbol {\ theta}} _ {n-1} = \ underset {\ boldsymbol {\ theta} \ in \ mathbb {R} ^ p} {\ …

15 maximum-likelihood  online 

Существуют хорошо известные онлайн-формулы для вычисления экспоненциально взвешенных скользящих средних и стандартных отклонений процесса . Для среднего,(xn)n=0,1,2,…(xn)n=0,1,2,…(x_n)_{n=0,1,2,\dots} μn=(1−α)μn−1+αxnμn=(1−α)μn−1+αxn\mu_n = (1-\alpha) \mu_{n-1} + \alpha x_n и для дисперсии σ2n=(1−α)σ2n−1+α(xn−μn−1)(xn−μn)σn2=(1−α)σn−12+α(xn−μn−1)(xn−μn)\sigma_n^2 = (1-\alpha) \sigma_{n-1}^2 + \alpha(x_n - \mu_{n-1})(x_n - \mu_n) из которого вы можете вычислить стандартное отклонение. Существуют ли похожие формулы для онлайн-расчета …

15 moments  online  kurtosis 

Допустим, у меня есть классификатор логистической регрессии. В обычном пакетном обучении я бы использовал термин регуляризатор, чтобы предотвратить переоснащение и сохранить вес небольшим. Я также нормализую и масштабирую свои функции. В режиме онлайн обучения я получаю непрерывный поток данных. Я делаю обновление градиентного спуска с каждым примером и затем отбрасываю …

15 machine-learning  normalization  regularization  online 

Я несколько неофициально использовал термин «случай Хейвуда» для обозначения ситуаций, когда онлайновая итеративно обновляемая оценка «конечного ответа» дисперсии становилась отрицательной из-за проблем с числовой точностью. (Я использую вариант метода Уэлфорда для добавления данных и удаления более старых данных.) У меня сложилось впечатление, что он применяется к любой ситуации, когда оценка …

15 variance  factor-analysis  definition  online 

Мне нужно вычислить квартили (Q1, медиана и Q3) в режиме реального времени на большом наборе данных без сохранения наблюдений. Сначала я попробовал алгоритм P-квадрата (Jain / Chlamtac), но меня это не удовлетворило (слишком частое использование процессора, и я не был уверен в точности, по крайней мере, в моем наборе данных). …

13 quantiles  median  online 

Может ли кто-нибудь указать мне направление онлайнового (рекурсивного) алгоритма регуляризации Тихонова (регуляризованных наименьших квадратов)? В автономном режиме я вычисляю β^=(XTX+λI)−1XTYβ^=(XTX+λI)−1XTY\hat\beta=(X^TX+λI)^{−1}X^TY используя мой исходный набор данных, где λλλ находится с помощью n-кратной перекрестной проверки. Новое значение yyy можно предсказать для данного xxx используя y=xTβ^y=xTβ^y=x^T\hat\beta . В режиме онлайн я постоянно рисую …

12 regression  machine-learning  least-squares  regularization  online 

Это было вдохновлено эффективной линейной регрессией онлайн , которая мне показалась очень интересной. Существуют ли какие-либо тексты или ресурсы, посвященные крупномасштабным статистическим вычислениям, с помощью которых вычисления с наборами данных слишком велики, чтобы помещаться в оперативную память, и, возможно, слишком разнообразны для эффективной подвыборки. Например, можно ли разместить модели со …

12 online  computing  references 

В последнее время я пытался узнать больше об онлайн-обучении (это абсолютно увлекательно!), И одна тема, которую я так и не смог понять, - как думать о выборе моделей в офлайновом и онлайн-контекстах. В частности, предположим , что мы тренируем классификатор в автономном режиме, на основе некоторого фиксированного набора данных D …

11 machine-learning  model-selection  online 

Я хочу реализовать постепенную гауссовскую регрессию процесса, используя скользящее окно над точками данных, которое приходит один за другим через поток. Пусть обозначает размерность входного пространства. Итак, каждая точка данных имеет количество элементов.dddxixix_iddd Пусть будет размером скользящего окна.nnn Чтобы делать предсказания, мне нужно вычислить обратную матрицу грамм , где а k …

11 regression  covariance  gaussian-process  linear-algebra  online