Статистика и большие данные

Я пытаюсь понять, как мне лучше всего смоделировать переменную, где со временем я получаю все более детальные предсказатели. Например, рассмотрим моделирование ставок восстановления по просроченным кредитам. Предположим, у нас есть набор данных с данными за 20 лет, и за первые 15 из этих лет мы знаем только, был ли заем …

9 regression  missing-data 

Я смотрю на лист Excel, в котором утверждается, что он вычисляет , но я не знаю, как это сделать, и мне было интересно, если я что-то упустил.χ2χ2\chi^2 Вот данные, которые он анализирует: +------------------+----------+----------+ | Total Population | Observed | Expected | +------------------+----------+----------+ | 2000 | 42 | 32.5 | | …

9 r  chi-squared  excel 

Мой коллега прислал мне эту проблему, очевидно, делая обходы в Интернете: If $3 = 18, 4 = 32, 5 = 50, 6 = 72, 7 = 98$, Then, $10 =$ ? Ответ, кажется, 200. 3*6 4*8 5*10 6*12 7*14 8*16 9*18 10*20=200 Когда я делаю линейную регрессию в R: data …

9 r  regression  lm 

Я знаю, что если вы повторно отбираете данные из набора данных и каждый раз вычисляете среднее значение, эти средства будут следовать нормальному распределению (по CLT). Таким образом, вы можете рассчитать доверительный интервал по среднему значению набора данных, не делая никаких предположений о распределении вероятностей набора данных. Мне было интересно, если …

9 distributions  confidence-interval  bootstrap  resampling 

Когда Y= Хβ+ еYзнак равноИксβ+еy = X\beta + e , задача наименьших квадратов, которая накладывает сферическое ограничение на значение может быть записана как для переопределенной системы. \ | \ cdot \ | _2 - евклидова норма вектора.δδ\deltaββ\betaмин ∥ у- Хβ∥22с . т . ∥ β∥22≤ δ2мин⁡ | |Y-Иксβ| |22s,T,⁡ | …

9 regression  least-squares  regularization  ridge-regression  underdetermined 

Я хотел бы нарисовать на том же графике взаимодействие между моим постоянным предиктором и моим категорическим модератором. Я знаю, как это сделать, когда оба категориальны ( взаимодействие факторов ), но на самом деле не знаю, как это сделать, когда один непрерывен, а другой категоричен.

9 data-visualization  categorical-data  interaction  continuous-data 

Для заданных чисел, где значение каждого числа различно, обозначается как , и вероятность выбора каждого числа равна соответственно.nnnv1,v2,...,vnv1,v2,...,vnv_1, v_2, ..., v_np1,p2,...,pnp1,p2,...,pnp_1, p_2, ..., p_n Теперь, если я выберу чисел на основе заданных вероятностей, где , каково ожидание суммы этих чисел? Обратите внимание, что выбор без замены, так что номера не …

9 probability 

Я читаю из книги, которая представляет распределение Dirchilet, а затем представил цифры о нем. Но я не был в состоянии понять эти цифры. Я прикрепил рисунок здесь внизу. Чего я не понимаю, так это значения треугольников. Обычно, когда кто-то хочет построить функцию от 2 переменных, вы берете значение var1 и …

9 distributions  data-visualization  dirichlet-distribution 

Я знаю, что линейная алгебра и анализ (особенно теория меры) важны. Полезно ли проходить курсы магистратуры в области реального и комплексного анализа? Должен ли я пройти курсы абстрактной алгебры помимо вводных курсов, например, коммутативной алгебры и алгебраической геометрии?

9 mathematical-statistics  academia  algebraic-statistics 

Какая настройка верна для модели разности регрессии с использованием YI сек т= α + γs∗ T+ λ dT+ δ∗ ( T∗ дT) + ϵI сек тYяsTзнак равноα+γs*T+λdT+δ*(T*dT)+εяsTY_{ist} = \alpha +\gamma_s*T + \lambda d_t + \delta*(T*d_t)+ \epsilon_{ist} где T - манекен, равный 1, если наблюдение относится к группе лечения, а d …

9 regression  econometrics  difference-in-difference 

У меня есть много спутниковых растровых изображений, доступных с разных датчиков. Из них, более грубые имеют очень большое временное разрешение. Растры среднего разрешения, как правило, имеют меньше дат получения, но все же некоторая информация доступна. Более тонкие разрешения имеют очень низкое временное разрешение, охватывающее от 2 до 6 наблюдаемых дат …

9 time-series  machine-learning  predictive-models  multivariate-regression 

1) Как я могу изменить порог классификации (я думаю, он равен 0,5 по умолчанию) в RandomForest в sklearn? 2) как я могу пробовать в sklearn? 3) У меня есть следующий результат из классификатора RandomForest: [[1635 1297] [520 3624]] precision recall f1-score support class 0 0.76 0.56 0.64 2932 class 1 …

9 classification  random-forest  precision-recall  unbalanced-classes 

Предположим, я сделал: p 1 k 1n1n1n_1 независимых испытаний с неизвестной частотой успеха и наблюдаемыми успехами .p1p1p_1k1k1k_1 p 2 k 2n2n2n_2 независимых испытаний с неизвестной частотой успеха и наблюдаемыми успехами .p2p2p_2k2k2k_2 Если теперь но все еще неизвестно, вероятность наблюдать для данного (или наоборот) пропорциональна \ int_0 ^ 1 B (n_1, …

9 hypothesis-testing  binomial  references 

Индекс стабильности населения количественно определяет изменение распределения переменной путем сравнения выборок данных за два периода времени. Это очень часто используется для измерения сдвигов в баллах. Он рассчитывается следующим образом: 1) Выборка из базового периода дискретизируется. Обычно он делится на децили 2) Выборка из целевого периода дискретизируется с использованием тех же …

9 distributions  kullback-leibler 

Похоже, что для управления упорядоченными измерениями исследователи обычно имеют дело с полихорической корреляцией . (Например, для создания матрицы перед выполнением Факторного анализа.) Почему так? Ранговый коэффициент корреляции Кендалла Тау и ранговой коэффициент корреляции Спирмена также подходят для упорядоченных данных. Любые пункты «за» и «против» для этих коэффициентов корреляции приветствуются.

9 correlation  ordinal-data  spearman-rho  kendall-tau  polychoric