Статистика и большие данные

Вопросы и ответы для людей, интересующихся статистикой, машинным обучением, анализом данных, интеллектуальным анализом данных и визуализацией данных

1
Тест Фишера в R
Предположим, у нас есть следующий набор данных: Men Women Dieting 10 30 Non-dieting 5 60 Если я запускаю точный тест Фишера в R, то что alternative = greater(или меньше) подразумевается? Например: mat = matrix(c(10,5,30,60), 2,2) fisher.test(mat, alternative="greater") Я получаю p-value = 0.01588и odds ratio = 3.943534. Кроме того, когда я …

2
Случайный лес на сгруппированных данных
Я использую случайный лес на многомерных сгруппированных данных (50 числовых входных переменных), которые имеют иерархическую структуру. Данные были собраны с 6 повторениями в 30 положениях 70 различных объектов, что привело к 12600 точкам данных, которые не являются независимыми. Кажется, что случайный лес перегружает данные, так как ошибка oob намного меньше …

3
Как рассчитать разницу двух склонов?
Есть ли способ понять, если две линии (более или менее) параллельны? У меня есть две линии, сгенерированные из линейных регрессий, и я хотел бы понять, параллельны ли они. Другими словами, я хотел бы получить разные наклоны этих двух линий. Есть ли функция R для расчета этого? РЕДАКТИРОВАТЬ: ... и как …


5
Как сравнить 2 нестационарных временных ряда, чтобы определить корреляцию?
У меня есть два ряда данных, которые показывают средний возраст смерти с течением времени. Обе серии демонстрируют повышенный возраст на момент смерти, но один значительно ниже другого. Я хочу определить, значительно ли увеличение возраста на момент смерти у нижней выборки, чем у верхней выборки. Вот данные , упорядоченные по годам …

1
Тестирование одновременных и запаздывающих эффектов в продольных смешанных моделях с изменяющимися во времени ковариатами
Мне недавно сказали, что было невозможно включить изменяющиеся во времени ковариаты в продольных смешанных моделях, не вводя временную задержку для этих ковариат. Вы можете подтвердить / опровергнуть это? Есть ли у вас какие-либо ссылки на эту ситуацию? Я предлагаю простую ситуацию прояснить. Предположим, что я повторил измерения (скажем, более 30 …

4
Что делать с пояснениями во временных рядах?
До сих пор работая в основном с данными поперечного сечения и совсем недавно просматривая, сканируя спотыкаясь через кучу вводной литературы по временным рядам, мне интересно, какую роль играют объясняющие переменные в анализе временных рядов. Я хотел бы объяснить тенденцию, а не ослаблять тренд. Большая часть того, что я читаю в …

6
Как уменьшить количество точек данных в серии?
Я не изучал статистику более 10 лет (а затем просто базовый курс), поэтому, возможно, мой вопрос немного сложен для понимания. В любом случае, я хочу уменьшить количество точек данных в серии. Ось X - это количество миллисекунд с начала измерения, а ось Y - показание для этой точки. Часто есть …

1
Как автоматически кластеризовать U-Matrix?
После тренировки самоорганизующейся карты можно рассчитать U-матрицу . Существуют некоторые инструменты для ручной визуализации и идентификации кластеров, но мне интересно, есть ли какой-нибудь алгоритм для автоматического выполнения этого процесса (то есть, когда человек не смотрит на рисунок для идентификации кластеров). Есть какой-либо способ сделать это? Я пишу свой код на …

1
Справедливо ли задавать начальное число в случайной лесной регрессии для получения максимальной точности?
У меня есть случайная регрессия леса, построенная с использованием skl, и я отмечаю, что я получаю разные результаты, основываясь на установке случайного начального числа на разные значения. Если я использую LOOCV, чтобы определить, какое семя работает лучше всего, это правильный метод?

1
Выпуклость функции PDF и CDF стандартной нормальной случайной величины
Пожалуйста, предоставьте доказательство того, что является выпуклым . Здесь и являются стандартными нормальными PDF и CDF соответственно.Q(x)=x2+xϕ(x)Φ(x)Q(x)=x2+xϕ(x)Φ(x)Q\left(x\right)=x^{2}+x\frac{\phi\left(x\right)}{\Phi\left(x\right)}∀x>0∀x>0\forall x>0 ϕϕ\phiΦΦ\mathbf{\Phi} ШАГИ ПРОБОВАНЫ 1) КАЛЬКУЛЬНЫЙ МЕТОД Я попробовал метод исчисления и получил формулу для второго производного, но не смог показать, что он положительный . Пожалуйста, дайте мне знать, если вам нужна дополнительная …

5
Как исправить выбросы, обнаруженные при прогнозировании данных временных рядов?
Я пытаюсь найти способ исправить выбросы, как только я найду / обнаружу их в данных временных рядов. Некоторые методы, такие как nnetar в R, дают некоторые ошибки для временных рядов с большими / большими выбросами. Мне уже удалось исправить пропущенные значения, но выбросы все еще разрушают мои прогнозы ...

1
Интерпретация декомпозиции временных рядов с использованием TBATS из пакета прогноза R
Я хотел бы разложить следующие данные временных рядов на сезонные, трендовые и остаточные компоненты. Данные представляют собой почасовой профиль Cooling Energy из коммерческого здания: TotalCoolingForDecompose.ts <- ts(TotalCoolingForDecompose, start=c(2012,3,18), freq=8765.81) plot(TotalCoolingForDecompose.ts) Таким образом, существуют очевидные ежедневные и еженедельные сезонные эффекты, основанные на рекомендациях: Как разложить временные ряды с несколькими сезонными компонентами? …

1
Название для распределения между экспонентой и гаммой?
Плотность где - параметр, находится между экспоненциальной ( ) и ( ) распределения. Просто любопытно, может быть, это пример более общего семейства дистрибутивов? Я не признаю это как таковой.f(s)∝ss+αe−s,s>0f(s)∝ss+αe−s,s>0f(s)\propto \frac{s}{s+\alpha}e^{-s},\quad s > 0α≥0α≥0\alpha \ge 0α=0α=0\alpha=0Γ(2,1)Γ(2,1)\Gamma(2,1)α→∞α→∞\alpha \to \infty

1
Повторные измерения anova: lm vs lmer
Я пытаюсь воспроизвести несколько тестов взаимодействия между обоими lmи lmerна повторных измерениях (2x2x2). Причина, по которой я хочу сравнить оба метода, состоит в том, что GLM SPSS для повторных измерений дает те же самые результаты, что и lmподход, представленный здесь, поэтому в конце я хочу сравнить SPSS с R-lmer. Пока …

Используя наш сайт, вы подтверждаете, что прочитали и поняли нашу Политику в отношении файлов cookie и Политику конфиденциальности.
Licensed under cc by-sa 3.0 with attribution required.