Статистика и большие данные

Я знаю, что для непрерывной переменной .P[X=x]=0P[X=x]=0P[X=x]=0 Но я не могу представить, что если , существует бесконечное количество возможных . А также почему их вероятности становятся бесконечно малыми?xP[X=x]=0P[X=x]=0P[X=x]=0xxx

13 probability  self-study  references  continuous-data 

В некоторых кругах слово «усадка» часто встречается. Но что такое усадка, то здесь нет четкого определения. Если у меня есть временной ряд (или какая-либо коллекция наблюдений какого-либо процесса), как я могу измерить эмпирическую усадку ряда? О каких типах теоретической усадки я могу говорить? Как усадка может помочь в прогнозировании? Могут …

13 estimation  predictive-models  shrinkage 

Предположим, игра предлагает событие, которое по завершении либо дает вознаграждение, либо ничего не дает. Точный механизм определения того, дается ли вознаграждение, неизвестен, но я предполагаю, что используется генератор случайных чисел, и если результат больше некоторого жестко заданного значения, вы получаете вознаграждение. Если я хочу в основном провести обратный инжиниринг, какое …

13 logistic  mathematical-statistics  sample-size  power-analysis  bernoulli-distribution 

В машинном обучении мы можем использовать область под кривой ROC (часто сокращенно AUC или AUROC), чтобы суммировать, насколько хорошо система может различать две категории. В теории обнаружения сигналов часто (индекс чувствительности) используется для аналогичной цели. Эти два тесно связаны, и я считаю, что они эквивалентны друг другу, если определенные предположения …

13 machine-learning  roc  auc  signal-detection  d-prime 

Может ли кто-то представить интуицию о том, почему более высокие моменты распределения вероятности , такие как третий и четвертый моменты, соответствуют асимметрии и эксцессу соответственно? В частности, почему отклонение от среднего значения, возведенного в третью или четвертую степень, в конечном итоге переходит в меру асимметрии и эксцесса? Есть ли способ …

13 mathematical-statistics  skewness  moments  intuition  kurtosis 

Этот вопрос может быть слишком основным. Для временной тенденции данных я бы хотел выяснить, где происходит «резкое» изменение. Например, на первом рисунке, показанном ниже, я хотел бы узнать точку изменения, используя какой-либо статистический метод. И я хотел бы применить такой метод в некоторых других данных, для которых точка изменения не …

13 time-series  trend  change-point 

Я анализировал некоторые данные с использованием линейного моделирования смешанных эффектов в R. Я планирую сделать плакат с результатами, и мне было просто интересно, может ли кто-нибудь, имеющий опыт работы с моделями смешанных эффектов, предложить, какие графики использовать для иллюстрации результатов модель. Я думал об остаточных графиках, графике подгоночных значений против …

13 r  data-visualization  mixed-model 

Если в формуле glm используется факторная переменная (например, пол с уровнями M и F), то создаются фиктивные переменные, которые можно найти в сводке модели glm вместе с соответствующими коэффициентами (например, полM) Если вместо того, чтобы полагаться на R для разделения коэффициента таким образом, коэффициент кодируется в виде последовательности числовых переменных …

13 r  generalized-linear-model  categorical-data  categorical-encoding 

Как изменяется относительный размер значения ap при разных размерах выборки? Например, если вы получили при для корреляции, а затем при вы получите такое же значение p, равное 0,20, каков будет относительный размер значения p для второго теста по сравнению с исходным значением p когда ?p=0.20p=0.20p=0.20n=45n=45n=45n=120n=120n=120n=45n=45n=45

13 p-value  sample-size 

Есть ли литература, в которой рассматривается выбор размера мини-партии при выполнении стохастического градиентного спуска? По моему опыту, это, кажется, эмпирический выбор, обычно находящийся в перекрестной проверке или с использованием различных практических правил. Является ли хорошей идеей медленно увеличивать размер мини-пакета по мере уменьшения ошибки проверки? Как это повлияет на ошибку …

13 machine-learning  gradient-descent  hyperparameter  deep-learning 

Мне нужно оценить базовую функцию риска λ0( т )λ0(T)\lambda_0(t) в зависящей от времени модели Кокса λ ( t ) = λ0( т ) опыт( Z( т )'β)λ(T)знак равноλ0(T)ехр⁡(Z(T)'β)\lambda(t) = \lambda_0(t) \exp(Z(t)'\beta) Хотя я проходил курс «Выживание», я помню, что прямая производная функции кумулятивной опасности ( ) не была бы хорошей …

13 r  survival  cox-model 

Есть ли способ выполнить Гауссовскую регрессию процесса на многомерном выходе (возможно, коррелированном) с использованием GPML ? В демонстрационном скрипте я мог найти только 1D пример. Аналогичный вопрос о том , что CV тали случай многомерного ввода. Я просмотрел их книгу, чтобы узнать, смогу ли я найти что-нибудь. В 9-й главе …

13 regression  machine-learning  matlab  gaussian-process  nonparametric-bayes 

Я изучаю машинное обучение, и в каждой книге, которую я открываю, я сталкиваюсь с распределением хи-квадрат, гамма-функцией, t-распределением, гауссовским и т. Д. Каждая книга, которую я открыл до сих пор, только определяет, каковы распределения: они не объясняют и не дают интуитивного представления о том, откуда поступают конкретные формулы для функций. …

13 probability  distributions  mathematical-statistics  references 

Мой вопрос касается связи между альфа и бета и их определениями в статистике. альфа = тип ошибки I типа = рассматриваемый уровень значимости, что гипотеза NULL верна Бета = тип ошибки II Если альфа понижена (специфичность увеличивается как альфа = 1-специфичность), бета увеличивается (чувствительность / мощность уменьшается, поскольку бета = …

13 statistical-significance  mathematical-statistics 

Если бы меня интересовало согласование двусторонних взаимодействий между линейной объясняющей переменной и другой объясняющей переменной b, которая имеет квадратичную связь с зависимой переменной y , мне бы пришлось включить как взаимодействие с квадратичным компонентом, так и взаимодействие с линейным компонент в модели? Например: y ∼ a + b + b …

13 r  regression  model-selection