Статистика и большие данные

Я заинтересован в рассмотрении нескольких различных метрик для алгоритмов ранжирования - на странице Википедии «Обучение для ранжирования» перечислены некоторые из них, в том числе: • Средняя средняя точность (MAP); • DCG и NDCG; • Точность @ n, NDCG @ n, где «@n» означает, что метрики оцениваются только для первых n …

15 algorithms  ranking 

Я пытаюсь понять некоторые работы Марка ван дер Лаана. Он - теоретический статистик в Беркли, работающий над проблемами, которые существенно пересекаются с машинным обучением. Одна проблема для меня (помимо глубокой математики) состоит в том, что он часто заканчивает тем, что описывает знакомые подходы машинного обучения, используя совершенно другую терминологию. Одна …

15 mathematical-statistics  estimation  nonparametric  autocorrelation  censoring 

Я читаю научную статью о классификации изображений. В экспериментальных результатах они говорят о точности топ-1 и топ-5, но я никогда не слышал этого термина и не могу найти его с помощью Google. Может кто-нибудь дать мне определение или указать мне где-нибудь? :)

15 machine-learning 

Поэтому я построил график ACF / PACF возврата нефти и ожидал увидеть некоторую положительную автокорреляцию, но, к моему удивлению, я получаю только отрицательную значительную автокорреляцию. Как мне интерпретировать приведенный выше график? Похоже, они указывают на то, что существует тенденция к увеличению возврата нефти, когда оно уменьшалось ранее, и наоборот, что …

15 time-series 

Допустим, у меня есть две или более выборочных совокупностей n-мерных непрерывнозначных векторов. Есть ли непараметрический способ проверить, относятся ли эти образцы к одному и тому же распределению? Если это так, есть ли функция в R или Python для этого?

15 r  distributions  nonparametric  python 

При выполнении линейной классификации SVM часто бывает полезно нормализовать тренировочные данные, например, путем вычитания среднего значения и деления на стандартное отклонение, а затем масштабировать данные теста со средним и стандартным отклонением обучающих данных. Почему этот процесс резко меняет производительность классификации?

15 machine-learning  svm  standardization 

Предположим, что две группы, включающие в себя и ранжируют набор из 25 элементов от наиболее до наименее важных. Каковы лучшие способы сравнить эти рейтинги?n1n1n_1n2n2n_2 Ясно, что можно сделать 25 U-тестов Манна-Уитни, но это приведет к 25 интерпретируемым результатам, что может быть слишком много (и, при строгом использовании, поднимает вопросы множественных …

15 ranking  group-differences 

Я работал с взаимной информацией в течение некоторого времени. Но я нашел очень недавнюю меру в «мире корреляции», которую также можно использовать для измерения независимости распределения, так называемой «корреляции расстояний» (также называемой броуновской корреляцией): http://en.wikipedia.org/wiki/Brownian_covariance , Я проверил документы, где вводится эта мера, но не нашел никаких ссылок на взаимную …

15 correlation  mutual-information  distance-covariance 

Я получил результаты теста ранга Манна-Уитни, которые я не понимаю. Медиана двух популяций идентична (6,9). Верхний и нижний квантили каждой популяции: 6.64 и 7.2 6.60 и 7.1 Значение р, полученное в результате теста, сравнивающего эти популяции, составляет 0,007. Как эти популяции могут значительно отличаться? Это из-за распространения о медиане? Бокплот, …

15 nonparametric  median  ranks  wilcoxon-mann-whitney 

Пусть X∼χ2kX∼χk2X \sim \chi^2_k - распределенная случайная величина хи-квадрат с kkk степенями свободы. Каковы наиболее точные известные оценки для следующих вероятностей P[X&gt;t]≤1−δ1(t,k)P[X&gt;t]≤1−δ1(t,k) \mathbb{P}[X > t] \leq 1 - \delta_1(t, k) и P[X&lt;z]≤1−δ2(z,k)P[X&lt;z]≤1−δ2(z,k) \mathbb{P}[X < z] \leq 1 - \delta_2(z, k) где δ1δ1\delta_1 и δ2δ2\delta_2 - некоторые функции. Указатели на соответствующие …

15 probability  chi-squared 

Я хотел бы получить совет относительно метода анализа, который я использую, чтобы узнать, является ли он статистически обоснованным. Я измерил две точки процессы и Т 2 = т 2 1 , т 2 2 , . , , , t 2 m, и я хочу определить, связаны ли события в …

15 point-process  cross-correlation 

Что является производной функции активации ReLU, определенной как: R e L U ( x ) = m a x ( 0 , x )ReLU(x)=max(0,x) \mathrm{ReLU}(x) = \mathrm{max}(0, x) А как насчет частного случая, когда в функции при есть разрыв ?х = 0x=0x=0

15 self-study  neural-networks 

Я ищу проект оптического распознавания символов (OCR). После некоторых исследований я натолкнулся на интересную архитектуру: CNN + RNN + CTC. Я знаком с извилистыми нейронными сетями (CNN) и рекуррентными нейронными сетями (RNN), но что такое временная классификация Connectionist (CTC)? Я хотел бы получить объяснение с точки зрения непрофессионала.

15 machine-learning  deep-learning  conv-neural-network  rnn 

Может кто-нибудь объяснить мне, почему вам нужно нормализовать данные при использовании K ближайших соседей. Я пытался найти это, но я все еще не могу понять это. Я нашел следующую ссылку: https://discuss.analyticsvidhya.com/t/why-it-is-necessary-to-normalize-in-knn/2715 Но в этом объяснении я не понимаю, почему больший диапазон в одной из функций влияет на прогнозы.

15 k-nearest-neighbour 

Я изо всех сил пытаюсь понять ноль раздутых распределений. Кто они такие? В чем смысл? Если у меня есть данные со многими нулями, то я мог бы подогнать логистическую регрессию, сначала вычислить вероятность нулей, а затем я мог бы удалить все нули, а затем подобрать регулярную регрессию, используя мой выбор …

15 zero-inflation