Вопросы с тегом «machine-learning»

При разделении моих помеченных данных на обучающие, проверочные и тестовые наборы я слышал все от 50/25/25 до 85/5/10. Я уверен, что это зависит от того, как вы собираетесь использовать свою модель и насколько склонен к переоснащению вашего алгоритма обучения. Есть ли способ решить или все по эмпирическому правилу? Даже ELSII …

10 machine-learning  cross-validation 

У меня есть опыт работы в области компьютерного программирования и теории элементарных чисел, но я не изучал реальную статистику, и недавно «обнаружил», что удивительный мир целого ряда методов на самом деле является статистическим миром. Кажется, что матричные факторизации, матричное пополнение, многомерные тензоры, вложения, оценка плотности, байесовский вывод, марковские разбиения, вычисления …

10 machine-learning  estimation 

При обучении параметризованной модели (например, для максимизации вероятности) посредством стохастического градиентного спуска на некотором наборе данных обычно предполагается, что обучающие выборки извлекаются из распределения обучающих данных. Таким образом, если цель состоит в том, чтобы смоделировать совместное распределение , то каждый обучающий образец должен быть взят из этого распределения.P(X,Y)P(X,Y)P(X,Y)(xi,yi)(xi,yi)(x_i,y_i) Если вместо …

10 machine-learning  conditional-probability  reinforcement-learning  gradient-descent 

Это мои тренировочные данные: 200 000 примеров х 10 000 функций. Итак, моя матрица тренировочных данных - 200 000 x 10 000. Мне удалось сохранить это в плоском файле без проблем с памятью, сохраняя каждый набор данных один за другим (один пример за другим), поскольку я генерировал функции для каждого …

10 machine-learning  dataset  algorithms  python 

Существует много способов выполнения регуляризации - например, регуляризация на основе норм , и . Согласно Friedman Hastie & Tibsharani , лучший регуляризатор зависит от проблемы: а именно от природы истинной целевой функции, конкретной используемой основы, отношения сигнал / шум и размера выборки.L0L0L_0L1L1L_1L2L2L_2 Есть ли эмпирические исследования, сравнивающие методы и эффективность …

10 r  regression  machine-learning  regularization 

Я работаю над прогнозированием временных рядов. У меня есть два набора данных: и . У меня есть три модели прогнозирования: M1, M2, M3 . Все эти модели обучаются с использованием выборок в наборе данных D1 , и их производительность измеряется с использованием выборок в наборе данных D2 . Допустим, показатели …

10 time-series  machine-learning  statistical-significance  classification  model-evaluation 

Традиционный подход к построению объектов для интеллектуального анализа текста - это подход «мешок слов», и его можно усовершенствовать с помощью tf-idf для настройки вектора объектов, характеризующего данный текстовый документ. В настоящее время я пытаюсь использовать модель языка биграмм или (N-грамм) для построения векторного элемента, но не совсем знаю, как это …

10 machine-learning  data-mining  text-mining  natural-language  language-models 

Какое-то время казалось, что ядра Фишера могут стать популярными, поскольку они, похоже, являются способом построения ядер из вероятностных моделей. Однако я редко видел, чтобы они использовались на практике, и у меня есть все основания полагать, что они не очень хорошо работают. Они полагаются на вычисление информации Фишера, цитируя Википедию: информация …

10 machine-learning  probability  kernel-trick  generative-models 

По сути, есть два распространенных способа обучения на огромных наборах данных (когда вы сталкиваетесь с ограничениями времени / пространства): Обман :) - используйте только «управляемое» подмножество для обучения. Потеря точности может быть незначительной из-за закона убывающей отдачи - прогностическая эффективность модели часто выравнивается задолго до того, как все обучающие данные …

10 machine-learning  large-data  model-evaluation  train 

У меня есть доступ к очень большому набору данных. Данные взяты из записей MEG людей, слушающих музыкальные отрывки из одного из четырех жанров. Данные следующие: 6 предметов 3 экспериментальных повторения (эпохи) 120 испытаний за эпоху 8 секунд данных на испытание при 500 Гц (= 4000 отсчетов) по 275 каналам MEG …

10 machine-learning  feature-selection  large-data  feature-construction 

Техника обработки сигналов, Мелкополосный Кепстр , часто используется для извлечения информации из музыкальной пьесы для использования в задаче машинного обучения. Этот метод дает кратковременный спектр мощности, а коэффициенты используются в качестве входных данных. При проектировании систем поиска музыки такие коэффициенты считаются характерными для произведения (очевидно, не обязательно уникальными, но отличительными). …

10 machine-learning  classification  signal-processing  mfcc 

Размышляя о предположительно простой, но интересной проблеме, я хотел бы написать код для прогнозирования расходных материалов, которые мне понадобятся в ближайшем будущем, учитывая полную историю моих предыдущих покупок. Я уверен, что проблема такого рода имеет более общее и хорошо изученное определение (кто-то предположил, что это связано с некоторыми понятиями в …

10 time-series  machine-learning  forecasting 

Я использую пакет randomForest в R для разработки модели случайного леса, чтобы попытаться объяснить непрерывный результат в «широком» наборе данных с большим количеством предикторов, чем выборок. В частности, я подгоняю одну модель RF, позволяющую процедуре выбрать из набора ~ 75 переменных предиктора, которые я считаю важными. Я проверяю, насколько хорошо …

10 r  machine-learning  hypothesis-testing  model-selection  random-forest 

Особенно в области компьютерной науки, ориентированной на информатику, AUC (область под характеристической кривой оператора приемника) является популярным критерием для оценки классификаторов. Каковы основания для использования AUC? Например, есть ли конкретная функция потерь, для которой оптимальным решением является классификатор с лучшим AUC?

10 machine-learning  roc 

Я запускаю регрессию на основе GAM, используя пакет R gamlss и предполагаю, что бета-распределение данных с нулевым раздуванием. У меня есть только один объясняющей переменной в моей модели, так это в основном: mymodel = gamlss(response ~ input, family=BEZI). Алгоритм дает мне коэффициент для влияния объясняющей переменной на среднее ( ) …

10 nonlinear-regression  gamlss  machine-learning  svm