Статистика и большие данные

Предположим, мы хотим вычислить некоторое ожидание: EYЕИкс| Y[f(X,Y) ]EYЕИкс|Y[е(Икс,Y)]E_YE_{X|Y}[f(X,Y)] Предположим, мы хотим приблизить это с помощью моделирования Монте-Карло. ЕYЕИкс| Y[ ф( Х, Y) ] ≈ 1R SΣг = 1рΣs = 1Sе(xr,s,yr)EYEX|Y[f(X,Y)]≈1RS∑r=1R∑s=1Sf(xr,s,yr)E_YE_{X|Y}[f(X,Y)] \approx \frac1{RS}\sum_{r=1}^R\sum_{s=1}^Sf(x^{r,s},y^r) Но предположим , что это дорого брать пробы из обоих распределений, так что мы только можем себе …

9 optimization  conditional-probability  simulation  expected-value  monte-carlo 

Я знаю, как реализовать линейную целевую функцию и линейные усиления в XGBoost. Мой конкретный вопрос: когда алгоритм соответствует остаточному (или отрицательному градиенту), использует ли он один элемент на каждом шаге (т.е. одномерную модель) или все признаки (многомерная модель)? Будем благодарны за любые ссылки на документацию о линейных бустах в XGBoost. …

9 regression  machine-learning  boosting  xgboost 

Я создал веб-страницу, на которой публикуются живые результаты олимпийских медалей от Thompson Reuters и подсчет населения по всему миру из ЦРУ. Результаты интересны для меня - у Венгрии двузначное лидерство в золотых медалях над остальным миром. Кроме того, США и Китай находятся на самом низком уровне практически в каждой категории. …

9 statistical-significance 

У меня есть набор данных, детализирующий большое количество игр в крикет (несколько тысяч). В крикет "боулеры" неоднократно бросают мяч в ряд "игроков с битой". Котелок пытается вытащить игрока с битой. В этом отношении он очень похож на кувшины и баттеры в бейсболе. Если бы я взял весь набор данных и …

9 probability  modeling  games 

Рассмотрим 3 одинаковых выборки, взятых из равномерного распределения u(θ,2θ)u(θ,2θ)u(\theta, 2\theta) , где θθ\theta - параметр. Я хочу найти E[X(2)|X(1),X(3)]E[X(2)|X(1),X(3)] \mathbb{E}\left[X_{(2)}| X_{(1)}, X_{(3)}\right] где X(i)X(i)X_{(i)} - это статистика порядка iii . Я ожидаю, что результатом будет Но единственный способ, которым я могу показать этот результат, кажется слишком длинным, я не могу …

9 uniform  conditional-expectation  order-statistics 

Я пытаюсь выяснить распределение где Z i ∼ N ( 0 , 1 ) , если я знаю, что, взяв каждое из членов в отдельности, n ∑ i = 1 Z 2 i ∼ χ 2 ( n ) и 1( n - 1 ) ∑я = 1NZ2я- ( ∑я …

9 probability  distributions  normal-distribution 

Учитывая постоянное число функций, t-SNE Барнса-Хата имеет сложность , случайные проекции и PCA имеют сложность что делает их «доступными» для очень больших наборов данных.O ( n logн )О(Nжурнал⁡N)O(n\log n)O ( n )О(N)O(n) С другой стороны, методы, основанные на многомерном масштабировании, имеют сложность .O ( n2)О(N2)O(n^2) Существуют ли другие методы уменьшения …

9 pca  dimensionality-reduction  large-data  multidimensional-scaling  tsne 

В настоящее время я работаю над попыткой реализовать метод, используемый в популярной статье под названием «Я только что провел два миллиона регрессий». Основная идея заключается в том, что есть определенные случаи, когда не очевидно, какие элементы управления должны быть включены в модель. Одна вещь, которую вы можете сделать в этом …

9 likelihood-ratio 

Предположим, я подгоняю биномиальную регрессию и получаю точечные оценки и дисперсионно-ковариационную матрицу коэффициентов регрессии. Это позволит мне получить CI для ожидаемой доли успехов в будущем эксперименте, , но мне нужен CI для наблюдаемой пропорции. Было опубликовано несколько связанных ответов, в том числе симуляция (предположим, я не хочу этого делать) и …

9 confidence-interval  binomial  beta-binomial  beta-regression  gamlss 

Я знаю, что видел это в обоих направлениях, так есть ли разница между ними, и какой из них чаще упоминается?

9 logistic  terminology  logarithm  loss-functions 

В настоящее время я пишу алгоритм для дифференциальной конфиденциальности с использованием механизма Лапласа. К сожалению, у меня нет опыта в статистике, поэтому многие термины мне неизвестны. Так что теперь я спотыкаюсь о термине: шум Лапласа . Чтобы сделать дифференциальный набор данных закрытым, все статьи просто говорят о добавлении шума Лапласа …

9 random-generation  laplace-distribution  differential-privacy 

Проблема, с которой я имею дело, заключается в прогнозировании значений временных рядов. Я смотрю на один временной ряд за раз и на основе, например, 15% входных данных, я хотел бы предсказать его будущие значения. До сих пор я сталкивался с двумя моделями: LSTM (долговременная кратковременная память; класс рекуррентных нейронных сетей) …

9 time-series  forecasting  references  arima  lstm 

Я пытаюсь интерпретировать результаты статьи, где они применили множественную регрессию, чтобы предсказать различные результаты. Однако 's (стандартизированные коэффициенты B определены как β x 1 = B x 1 ⋅ S D x 1ββ\beta гдеy- зависимая переменная, аx1- предиктор), по-видимому, не соответствует сообщенномуR2:βИкс1= BИкс1⋅ S DИкс1S DYβx1=Bx1⋅SDx1SDy\beta_{x_1} = B_{x_1} \cdot \frac{\mathrm{SD}_{x_1}}{\mathrm{SD}_y}YyyИкс1x1x_1р2R2R^2 …

9 regression  regression-coefficients  multicollinearity  r-squared 

Поскольку стандартная ошибка линейной регрессии обычно задается для переменной отклика, мне интересно, как получить доверительные интервалы в другом направлении - например, для x-перехвата. Я могу представить, что это может быть, но я уверен, что должен быть прямой способ сделать это. Ниже приведен пример того, как R визуализировать это: set.seed(1) x …

9 r  regression  confidence-interval  bootstrap 

Справочная информация: я использую приближение Q-значения нейронной сети в моей задаче обучения подкрепления. Подход точно такой же, как описанный в этом вопросе , однако сам вопрос другой. В этом подходе количество выходов - это количество действий, которые мы можем предпринять. Иными словами, алгоритм следующий: выполните действие A, изучите награду, попросите …

9 machine-learning  neural-networks  reinforcement-learning  q-learning