Статистика и большие данные

Я знаю, что этот вопрос недостаточно четко определен, но некоторые кластеры имеют тенденцию быть эллиптическими или лежать в пространстве меньшего размера, в то время как другие имеют нелинейные формы (в 2D или 3D-примерах). Есть ли мера нелинейности (или «формы») кластеров? Обратите внимание, что в двумерном и трехмерном пространстве не является …

14 unsupervised-learning  clustering 

Я использовал randomForest для классификации 6 поведений животных (например, стоя, ходьбы, плавания и т. Д.) На основе 8 переменных (различные позы тела и движения). MDSplot в пакете randomForest дает мне этот вывод, и у меня возникают проблемы с интерпретацией результата. Я сделал PCA на тех же данных и уже получил …

14 r  classification  random-forest  multidimensional-scaling 

Как доказать, что для радиальной базисной функции не существует конечномерного пространства признаковHтакого, что для некоторогоимеем?k(x,y)=exp(−||x−y||2)2σ2)k(x,y)=exp⁡(−||x−y||2)2σ2)k(x, y) = \exp(-\frac{||x-y||^2)}{2\sigma^2})HHHΦ:Rn→HΦ:Rn→H\Phi: \text{R}^n \to Hk(x,y)=⟨Φ(x),Φ(y)⟩k(x,y)=⟨Φ(x),Φ(y)⟩k(x, y) = \langle \Phi(x), \Phi(y)\rangle

14 machine-learning  svm  kernel-trick 

Мне интересно, есть ли простой способ обнаружения выбросов. Для одного из моих проектов, который был в основном корреляцией между количеством раз, когда респонденты участвуют в физической активности в неделю, и количеством раз, когда они едят вне дома (фаст-фуд) в неделю, я нарисовал диаграмму рассеяния и буквально удалил Точки данных, которые …

14 correlation  outliers 

Недавно я искал способы повторной выборки временных рядов таким образом, чтобы Приблизительно сохраняйте автокорреляцию длительных процессов памяти. Сохраните область наблюдений (например, пересчитанный временной ряд целых чисел все еще является временным рядом целых чисел). Может влиять только на некоторые весы, если требуется. Я придумал следующую схему перестановок для временного ряда длиной …

14 time-series  bootstrap  resampling  permutation-test 

Мне приходится иметь дело с проблемой классификации текста. Сканер сканирует веб-страницы определенного домена, и для каждой веб-страницы я хочу выяснить, принадлежит ли он только одному конкретному классу или нет. То есть, если я назову этот класс " Позитивным" , каждая просканированная веб-страница принадлежит либо к классу " Позитив", либо к …

14 classification  text-mining  naive-bayes  binary-data 

В другом месте я читал, что выбор функции активации скрытого слоя в NN должен основываться на потребности , то есть, если вам нужны значения в диапазоне от -1 до 1, используйте tanh и используйте сигмоид для диапазона от 0 до 1. Мой вопрос: как узнать, что нужно ? Основано ли …

14 machine-learning  classification  neural-networks 

У меня есть набор данных из двух выборок (контрольной и обработанной), каждая из которых содержит несколько тысяч значений, которые должны пройти проверку на значимость в R. Теоретически значения должны быть непрерывными, но из-за округления, выполняемого программным обеспечением для измерения, они не ' и у них есть связи. Распределения неизвестны, а …

14 r  nonparametric  kolmogorov-smirnov  ties 

Вчера на всеобщих выборах я жил, и телеканал начал объявлять победителей задолго до того, как были открыты все бюллетени. Они оказались правильными во всех отношениях, и я не очень удивлен, что они сделали. Я знаю, что статистика абсолютно жизнеспособна. Тем не менее, мне любопытно. Предполагая, что: мы открыли из j …

14 elections 

У меня есть несколько вопросов об АПК и надеюсь, что вы мне поможете. Я применил выбор модели (назад или вперед) на основе AIC на моих данных. И некоторые из выбранных переменных оказались с p-значениями> 0,05. Я знаю, что люди говорят, что мы должны выбирать модели на основе AIC вместо p-значения, …

14 model-selection  p-value  aic 

Я использую сэмплер Metropolis (C ++) и хочу использовать предыдущие образцы для оценки степени сходимости. Я обнаружил одну простую в использовании диагностику - диагностику Гьюке , которая вычисляет разницу между двумя значениями выборки, деленную на оцененную стандартную ошибку. Стандартная ошибка оценивается по спектральной плотности на нуле. Zn=θ¯A−θ¯B1nASAθ^(0)+1nBSBθ^(0)−−−−−−−−−−−−−−−−√,Zn=θ¯A−θ¯B1nASθA^(0)+1nBSθB^(0),Z_n=\frac{\bar{\theta}_A-\bar{\theta}_B}{\sqrt{\frac{1}{n_A}\hat{S_{\theta}^A}(0)+\frac{1}{n_B}\hat{S_{\theta}^B}(0)}}, где , B …

14 mcmc  diagnostic 

Может ли кто-нибудь помочь мне понять модели с фиксированным / случайным эффектом? Вы можете либо объяснить по-своему, если вы переварили эти понятия, либо направить меня к ресурсу (книга, заметки, веб-сайт) с конкретным адресом (номер страницы, глава и т. Д.), Чтобы я мог изучить их без какой-либо путаницы. Правда ли это: …

14 mixed-model  modeling  random-effects-model  fixed-effects-model 

Я пытаюсь построить QQ-график с двумя наборами данных около 1,2 млн. Точек в R (используя qqplot и передавая данные в ggplot2). Вычисление достаточно простое, но полученный график очень медленно загружается, потому что точек очень много. Я пробовал линейное приближение, чтобы уменьшить количество точек до 10000 (это то, что делает функция …

14 r  data-visualization  qq-plot 

Предположим, у меня есть упорядоченный вектор, где первый элемент - это количество посещений веб-сайта за определенный период времени по уникальному IP с наибольшим числом посещений, второй элемент - это количество посещений по уникальному IP со вторым наибольшее количество посещений и тд. Я понимаю, что могут быть вариации для каждого сайта, …

14 web  power-law 

Мне нужно оценить функцию плотности на основе набора наблюдений, используя оценщик плотности ядра. Основываясь на том же наборе наблюдений, мне также нужно оценить первую и вторую производные плотности, используя производные оценки плотности ядра. Пропускная способность, безусловно, будет иметь большое влияние на конечный результат. Во-первых, я знаю, что есть пара функций …

14 r  nonparametric  pdf  kernel-smoothing