Статистика и большие данные

Вопросы и ответы для людей, интересующихся статистикой, машинным обучением, анализом данных, интеллектуальным анализом данных и визуализацией данных

1
Проверка честности монеты
Мне задал следующий вопрос друг. Я не мог ей помочь, но я надеюсь, что кто-нибудь сможет мне это объяснить. Я не мог найти подобный пример. Спасибо за любую помощь и объяснение. Q: Результаты 100 экспериментов с бросанием монет записываются как 0 = "Хвост" и 1 = "Голова". Выход x представляет …


1
Как детям удается объединить своих родителей в прогнозе PCA набора данных GWAS?
Возьмите 20 случайных точек в 10000-мерном пространстве с каждой координатой из N( 0 , 1 )N(0,1)\mathcal N(0,1) . Разделите их на 10 пар («пары») и добавьте среднее значение каждой пары («ребенок») к набору данных. Затем проведите PCA по полученным 30 точкам и постройте график PC1 против PC2. Происходит замечательная вещь: …

4
Оптимизация градиентного спуска
Я пытаюсь понять оптимизацию градиентного спуска в алгоритмах ML (машинного обучения). Я понимаю , что есть стоимость функция, где цель состоит в том, чтобы свести к минимуму ошибки у - у . В случае , когда вес ш 1 , ж 2 оптимизируются , чтобы дать минимальную ошибку, и используются …

3
Регрессия остатков логистической регрессии на других регрессорах
С помощью регрессии OLS, применяемой к непрерывному отклику, можно построить уравнение множественной регрессии, последовательно выполняя регрессии остатков в каждом ковариате. У меня вопрос, есть ли способ сделать это с помощью логистической регрессии через остатки логистической регрессии ? Pr(Y=1|x,z)Pr(Y=1|x,z)\Pr(Y = 1 | x, z)xxxR1R1R_1R1R1R_1zzz

1
Для какой проблемы или игры оптимальным решением являются дисперсия и стандартное отклонение?
Для заданной случайной величины (или совокупности, или стохастического процесса) математическое ожидание является ответом на вопрос: какой точечный прогноз минимизирует ожидаемую квадратичную потерю? , Кроме того, это оптимальное решение для игры. Угадайте следующую реализацию случайной величины (или новую ничью из популяции), и я накажу вас по квадрату расстояния между значением и …

1
Моя нейронная сеть не может даже изучить евклидово расстояние
Поэтому я пытаюсь научить себя нейронным сетям (для регрессионных приложений, а не для классификации изображений кошек). Моими первыми экспериментами было обучение сети внедрению КИХ-фильтра и дискретного преобразования Фурье (обучение сигналам «до» и «после»), поскольку обе эти линейные операции могут быть реализованы одним слоем без функции активации. Оба работали нормально. Тогда …

5
Почему сумма вероятностей в непрерывном равномерном распределении не бесконечность?
Функция плотности вероятности равномерного распределения (непрерывная) показана выше. Площадь под кривой равна 1, что имеет смысл, поскольку сумма всех вероятностей в распределении вероятностей равна 1. Формально вышеуказанная функция вероятности (f (x)) может быть определена как 1 / (ba) для x в [a, b] и 0 в противном случае Учтите, что …

2
Улучшение минимальной оценки
Предположим , что у меня есть положительные параметры для оценки и их соответствующие непредвзятые оценки , полученные с помощью оценок , то есть , и так далее.nnnμ1,μ2,...,μnμ1,μ2,...,μn\mu_1,\mu_2,...,\mu_nnnnμ1^,μ2^,...,μn^μ1^,μ2^,...,μn^\hat{\mu_1},\hat{\mu_2},...,\hat{\mu_n}E[μ1^]=μ1E[μ1^]=μ1\mathrm E[\hat{\mu_1}]=\mu_1E[μ2^]=μ2E[μ2^]=μ2\mathrm E[\hat{\mu_2}]=\mu_2 Я хотел бы оценить используя оценки. Очевидно, что наивный оценщик смещен ниже как min(μ1,μ2,...,μn)min(μ1,μ2,...,μn)\mathrm{min}(\mu_1,\mu_2,...,\mu_n)min(μ1^,μ2^,...,μn^)min(μ1^,μ2^,...,μn^)\mathrm{min}(\hat{\mu_1},\hat{\mu_2},...,\hat{\mu_n})E[min(μ1^,μ2^,...,μn^)]≤min(μ1,μ2,...,μn)E[min(μ1^,μ2^,...,μn^)]≤min(μ1,μ2,...,μn)\mathrm E[\mathrm{min}(\hat{\mu_1},\hat{\mu_2},...,\hat{\mu_n})]\leq \mathrm{min}(\mu_1,\mu_2,...,\mu_n) Предположим, что у меня также …

1
Границы разности коррелированных случайных величин
Учитывая две сильно коррелированные случайные величины и , я хотел бы ограничить вероятность того, что разностьпревышает некоторое количество: XXXYYY|X−Y||X−Y| |X - Y| P(|X−Y|&gt;K)&lt;δP(|X−Y|&gt;K)&lt;δ P( |X - Y| > K) < \delta Для простоты предположим, что: Коэффициент корреляции известен как «высокий», скажем: ρX,Y=covar(X,Y)/σXσY≥1−ϵρX,Y=covar(X,Y)/σXσY≥1−ϵ \rho_{X,Y}= {covar(X,Y)} / {\sigma_X \sigma_Y} \geq 1 - …

2
Каков самый мощный результат о максимуме ид гауссиан? Наиболее используемый на практике?
Учитывая X1,…,Xn,…∼N(0,1)X1,…,Xn,…∼N(0,1)X_1, \ldots, X_n, \ldots \sim \mathscr{N}(0,1) iid, рассмотрим случайные величины Zn:=max1≤i≤nXi.Zn:=max1≤i≤nXi. Z_n := \max_{1 \le i \le n} X_i\,. Вопрос: Какой самый «важный» результат для этих случайных величин? Чтобы прояснить «важность», какой результат имеет большинство других таких результатов как логическое следствие? Какой из результатов чаще всего используется на практике? …

3
Независимость статистики от гамма-распределения
Пусть - случайная выборка из гамма-распределения G a m m a ( α , β ) .X1,...,XnX1,...,XnX_1,...,X_nGamma(α,β)Gamma(α,β)\mathrm{Gamma}\left(\alpha,\beta\right) Пусть и S 2 - выборочное среднее и выборочная дисперсия соответственно.X¯X¯\bar{X}S2S2S^2 Затем докажите или опровергните, что и S 2 / ˉ X 2 независимы.Икс¯X¯\bar{X}S2/ X¯2S2/X¯2S^2/\bar{X}^2 Моя попытка: Так как , нам нужно проверить …

1
Генерация случайной величины с заданными моментами
Я знаю первые моментов некоторого распределения. Я также знаю, что мое распределение является непрерывным, унимодальным и имеет хорошую форму (похоже на гамма-распределение). Это возможно:NNN Используя некоторый алгоритм, сгенерируйте выборки из этого распределения, которые в предельных условиях будут иметь точно такие же моменты? Решить эту проблему аналитически? Я понимаю, что пока …

3
Прогнозирование нескольких периодов с машинным обучением
Недавно я повторил свои знания о временных рядах и понял, что машинное обучение в основном дает только прогнозы на шаг впереди. Под прогнозами на шаг впереди я подразумеваю прогнозы, которые, например, если у нас есть почасовые данные, используют данные с 10:00 для прогнозирования 11:00 и 11:00 для 12:00 и т. …

2
Можем ли мы отклонить нулевую гипотезу с доверительными интервалами, полученными путем выборки, а не нулевой гипотезой?
Меня учили, что мы можем произвести оценку параметров в форме доверительного интервала после отбора проб из популяции. Например, 95-процентные доверительные интервалы, без каких-либо нарушенных допущений, должны иметь 95-процентную вероятность успеха, содержащую какой-либо истинный параметр, который мы оцениваем, в популяции. То есть, Произведите точечную оценку из образца. Создайте диапазон значений, теоретически …

Используя наш сайт, вы подтверждаете, что прочитали и поняли нашу Политику в отношении файлов cookie и Политику конфиденциальности.
Licensed under cc by-sa 3.0 with attribution required.