Статистика и большие данные

Вопросы и ответы для людей, интересующихся статистикой, машинным обучением, анализом данных, интеллектуальным анализом данных и визуализацией данных

1
Является ли MLE из асимптотически нормальным, когда ?
Предположим, что имеет PDF(X,Y)(X,Y)(X,Y) fθ(x,y)=e−(x/θ+θy)1x>0,y>0,θ>0fθ(x,y)=e−(x/θ+θy)1x>0,y>0,θ>0f_{\theta}(x,y)=e^{-(x/\theta+\theta y)}\mathbf1_{x>0,y>0}\quad,\,\theta>0 Плотность выборки взятой из этой совокупности, поэтому(X,Y)=(Xi,Yi)1≤i≤n(X,Y)=(Xi,Yi)1≤i≤n(\mathbf X,\mathbf Y)=(X_i,Y_i)_{1\le i\le n} gθ(x,y)=∏i=1nfθ(xi,yi)=exp[−∑i=1n(xiθ+θyi)]1x1,…,xn,y1,…,yn>0=exp[−nx¯θ−θny¯]1x(1),y(1)>0,θ>0gθ(x,y)=∏i=1nfθ(xi,yi)=exp⁡[−∑i=1n(xiθ+θyi)]1x1,…,xn,y1,…,yn>0=exp⁡[−nx¯θ−θny¯]1x(1),y(1)>0,θ>0\begin{align} g_{\theta}(\mathbf x,\mathbf y)&=\prod_{i=1}^n f_{\theta}(x_i,y_i) \\&=\exp\left[{-\sum_{i=1}^n\left(\frac{x_i}{\theta}+\theta y_i\right)}\right]\mathbf1_{x_1,\ldots,x_n,y_1,\ldots,y_n>0} \\&=\exp\left[-\frac{n\bar x}{\theta}-\theta n\bar y\right]\mathbf1_{x_{(1)},y_{(1)}>0}\quad,\,\theta>0 \end{align} Оценка максимального правдоподобия может быть получена какθθ\theta θ^(X,Y)=X¯¯¯¯Y¯¯¯¯−−−√θ^(X,Y)=X¯Y¯\hat\theta(\mathbf X,\mathbf Y)=\sqrt\frac{\overline X}{\overline Y} Я хотел бы знать, является ли предельное распределение этого …

2
Решение немецкой проблемы танков
Есть ли формальное математическое доказательство того, что решение немецкой проблемы танков является функцией только параметров k (количество наблюдаемых образцов) и m (максимальное значение среди наблюдаемых образцов)? Другими словами, можно ли доказать, что решение не зависит от других значений выборки, кроме максимального значения?

2
Использование моделей ARMA-GARCH для моделирования валютных цен
Я приспособил модель ARIMA (1,1,1) -GARCH (1,1) к временному ряду журнальных цен курса AUD / USD, выбранных с интервалом в одну минуту в течение нескольких лет, что дало мне более двух миллион точек данных, по которым можно оценить модель. Набор данных доступен здесь . Для ясности, это была модель ARMA-GARCH, …

2
Почему лемма Неймана-Пирсона является леммой, а не теоремой?
Это больше вопрос истории, чем технический вопрос. Почему лемма Неймана-Пирсона является леммой, а не теоремой? ссылка на вики: https://en.wikipedia.org/wiki/Neyman%E2%80%93Pearson_lemma NB : Вопрос не в том, что такое лемма и как леммы используются для доказательства теоремы, а в истории леммы Неймана-Пирсона. Использовалось ли это для доказательства теоремы, а потом оказалось более …

5
Почему следует избегать биннинга любой ценой?
Итак, я прочитал несколько постов о том, почему всегда следует избегать биннинга. Популярной ссылкой для этого утверждения является эта ссылка . Основным препятствием является то, что точки биннинга (или точки отсечения) являются довольно произвольными, а также в результате потери информации, и что сплайны должны быть предпочтительными. Тем не менее, в …

4
Строго говоря, «случайная проекция» не является проекцией?
Текущие реализации алгоритма случайного Проекционного уменьшить размерность выборок данных путем сопоставления их с к с использованием проекции матрицы , элементы которой являются IID из подходящего распределения (например , из ):рdRd\mathbb R^dRkRk\mathbb R^kd×kd×kd\times kRRRN(0,1)N(0,1)\mathcal N(0,1) x′=1k√xRx′=1kxRx^\prime = \frac{1}{\sqrt k}xR Удобно, что существуют теоретические доказательства, показывающие, что это отображение приблизительно сохраняет попарные …

2
Что случилось с Fuzzy Logic?
Нечеткая логика казалась активной областью исследований в области машинного обучения и интеллектуального анализа данных, когда я учился в аспирантуре (в начале 2000-х). Системы нечеткого вывода, нечеткие c-средства, нечеткие версии различных нейронных сетей и архитектуры машин опорных векторов преподавались на курсах повышения квалификации и обсуждались на конференциях. Поскольку я снова начал …

7
Как избежать социальной дискриминации в построении моделей
У меня есть вопросы, вдохновленные недавним скандалом с новобранцами Амазонки, где их обвинили в дискриминации в отношении женщин в процессе найма. Больше информации здесь : Специалисты по машинному обучению Amazon.com Inc обнаружили большую проблему: их новый рекрутинговый движок не любил женщин. Команда создавала компьютерные программы с 2014 года для анализа …

2
Почему экспоненциальные коэффициенты логистической регрессии считаются «коэффициентами шансов»?
Логистическая регрессия моделирует лог-шансы события как некоторый набор предикторов. То есть log (p / (1-p)), где p - вероятность некоторого исхода. Таким образом, интерпретация необработанных коэффициентов логистической регрессии для некоторой переменной (x) должна осуществляться в масштабе логарифмических коэффициентов. То есть, если коэффициент для x = 5, тогда мы знаем, что …

2
Распределение предложений для обобщенного нормального распределения
Я моделирую рассредоточение завода, используя обобщенное нормальное распределение ( запись в Википедии ), которое имеет функцию плотности вероятности: b2aΓ(1/b)e−(da)bb2aΓ(1/b)e−(da)b \frac{b}{2a\Gamma(1/b)} e^{-(\frac{d}{a})^b} где - пройденное расстояние, - параметр масштаба, а - параметр формы. Среднее пройденное расстояние определяется стандартным отклонением этого распределения:dddбaaabbb a2Γ(3/b)Γ(1/b)−−−−−−−−√a2Γ(3/b)Γ(1/b) \sqrt{\frac{a^2 \Gamma(3/b)}{\Gamma(1/b)}} Это удобно, потому что учитывает экспоненциальную форму, …

3
Вычисление p-значений в ограниченных (неотрицательных) наименьших квадратах
Я использовал Matlab для выполнения неограниченных наименьших квадратов (обычных наименьших квадратов), и он автоматически выводит коэффициенты, тестовую статистику и p-значения. Мой вопрос заключается в том, что при выполнении ограниченных наименьших квадратов (строго неотрицательных коэффициентов) он выводит только коэффициенты, БЕЗ тестовой статистики, p-значения. Можно ли рассчитать эти значения для обеспечения значимости? …


1
Проблема Рыбалки
Предположим, вы хотите отправиться на рыбалку на близлежащее озеро с 8:00 до 20:00. Из-за чрезмерного вылова рыбы был принят закон, согласно которому вы можете ловить только одну рыбу в день. Когда вы ловите рыбу, вы можете либо оставить ее (и, таким образом, пойти домой с этой рыбой), либо выбросить ее …

1
В чем разница между VAE и стохастическим обратным распространением для моделей с глубокой генерацией?
В чем разница между авто-кодированием вариационного байесовского алгоритма и стохастическим обратным распространением для моделей с глубокой генерацией ? Приводит ли вывод в обоих методах к тем же результатам? Я не знаю каких-либо явных сравнений между этими двумя методами, несмотря на то, что обе группы авторов цитируют друг друга.

2
Линейное преобразование нормальных гауссовских векторов
Мне трудно доказать следующее утверждение. Это дано в исследовательской работе, найденной в Google. Мне нужна помощь в доказательстве этого утверждения! Пусть , где - ортогональная матрица, а - гауссовская. Изотопное поведение гауссовой имеющей одинаковое распределение в любом ортонормированном базисе.X=ASX=ASX= ASAAASSSSSS Как гауссов после применения на ?XXXAAASSS

Используя наш сайт, вы подтверждаете, что прочитали и поняли нашу Политику в отношении файлов cookie и Политику конфиденциальности.
Licensed under cc by-sa 3.0 with attribution required.