Статистика и большие данные

У меня есть тестовый набор из 100 случаев и два классификатора. Я генерировал прогнозы и вычислял ROC AUC, чувствительность и специфичность для обоих классификаторов. Вопрос 1: Как я могу вычислить значение p, чтобы проверить, является ли одно значительно лучше другого по всем показателям (ROC AUC, чувствительность, специфичность)? Теперь для одного …

14 machine-learning  statistical-significance  roc  auc  sensitivity-specificity 

Я просматриваю статью, в которой используется неравенство оракула, чтобы что-то доказать, но я не могу понять, что он даже пытается сделать. Когда я искал в Интернете информацию о «Неравенстве Oracle», некоторые источники указали мне на статью «Кандес, Эммануэль Дж.« Современная статистическая оценка через неравенства оракула ». "который можно найти здесь …

14 mathematical-statistics  estimation  probability-inequalities  inequality  oracle 

У меня возникают проблемы с пониманием, почему мы заботимся о том, является ли процесс МА обратимым или нет. Пожалуйста, исправьте меня, если я ошибаюсь, но я могу понять, почему нас волнует, является ли процесс AR причинным, то есть, если мы можем, так сказать, «переписать», как сумму некоторого параметра и белого …

14 time-series  mathematical-statistics  autoregressive  moving-average 

Там, кажется, есть противоречивый совет о том, как обрабатывать сравнение поезда с ошибкой теста, особенно когда есть разрыв между ними. Кажется, есть две школы мысли, которые кажутся мне противоречивыми. Я ищу, чтобы понять, как совместить два (или понять, что мне здесь не хватает). Мысль № 1: разрыв между производительностью поезда …

14 cross-validation  overfitting 

Это относится к статье « Эффективная локализация объектов с использованием сверточных сетей» , и, насколько я понимаю, выпадение реализовано в 2D. После прочтения кода из Keras о том, как реализован пространственный выпадение 2D, в основном реализована случайная двоичная маска формы [batch_size, 1, 1, num_channels]. Однако, что именно этот пространственный 2D-выпадет …

14 machine-learning  deep-learning  tensorflow  dropout 

После вопроса, на который уже дан ответ ( Извлечение важности веса из одноуровневой сети прямой связи ), я ищу вывод об актуальности входных данных в нейронных сетях. Рассматривая глубокую сеть, где восстановление важности ввода путем перехода назад через слои от интересующего выходного узла может быть трудным или длительным, мне было …

14 neural-networks  python  feature-selection  sensitivity-analysis 

Скажем, у нас есть X формы (2, 5) и y формы (2,) Это работает: np.linalg.lstsq(X, y) Мы ожидаем, что это сработает, только если X имеет форму (N, 5), где N> = 5. Но почему и как? Мы получаем 5 весов, как и ожидалось, но как решить эту проблему? Разве у …

14 least-squares  linear-algebra  numpy 

Я беру курс по моделям регрессии, и одно из свойств, предусмотренных для линейной регрессии, заключается в том, что при включении перехвата остатки всегда суммируются до нуля. Кто-нибудь может дать хорошее объяснение, почему это так?

14 regression  residuals 

Это вопрос, касающийся практики или метода, которым следуют некоторые из моих коллег. При создании модели логистической регрессии я видел, как люди заменяли категориальные переменные (или непрерывные переменные, которые сгруппированы) на соответствующий вес доказательств (WoE). Предположительно это делается для установления монотонной связи между регрессором и зависимой переменной. Теперь, насколько я понимаю, …

14 regression  logistic  categorical-data  modeling 

Я выпускник факультета бизнеса и экономики, который в настоящее время учится на степень магистра в области инженерии данных. Во время изучения линейной регрессии (LR), а затем анализа временных рядов (TS) у меня возник вопрос. Зачем создавать новый метод, т. Е. Временные ряды (ARIMA), вместо использования множественной линейной регрессии и добавления …

14 regression  time-series  multiple-regression  least-squares  arima 

Вопрос: Каковы преимущества / недостатки использования одного перед другим для выбора переменных? Предположим , у меня есть вероятность: , где можно поместить либо один из настоятелей: ш я ~ л & delta ; 0 + ( 1 - л ) N ( 0 , 100 )y∼N(Xw,σ2I)y∼N(Xw,σ2I)y\sim\mathcal{N}(Xw,\sigma^2I) Или: ш я ~ …

14 bayesian  feature-selection 

Существуют ли какие-либо известные рейтинговые или рейтинговые системы, подобные Elo, для многопользовательских событий? Например, система, которая может оценивать различные виды гонок (авто, скоростной спуск, лошади и т. Д.) Или другие отдельные виды спорта (например, гольф)?

14 ranking  elo 

Есть ли веские причины для предпочтения двоичных значений (0/1) дискретным или непрерывным нормализованным значениям, например (1; 3), в качестве входных данных для сети прямой связи для всех входных узлов (с обратным распространением или без него)? Конечно, я говорю только о входах, которые могут быть преобразованы в любую форму; например, когда …

14 neural-networks 

Я прохожу курс машинного обучения Эндрю Нг и не смог получить правильный ответ на этот вопрос после нескольких попыток. Пожалуйста, помогите решить это, хотя я прошел через уровень. Предположим, что ученики взяли какой-то класс, и у класса был промежуточный экзамен и итоговый экзамен. Вы собрали набор данных их результатов на …

14 machine-learning  self-study  normalization 

Согласно этому руководству по глубокому обучению , снижение веса (регуляризация) обычно не применяется к терминам смещения b, почему? Какое значение (интуиция) стоит за этим?

14 machine-learning  neural-networks  bias  regularization