Статистика и большие данные

Вопросы и ответы для людей, интересующихся статистикой, машинным обучением, анализом данных, интеллектуальным анализом данных и визуализацией данных

2
Почему бы не выполнить метаанализ частично смоделированных данных?
Фон: Типичный метаанализ в психологии может стремиться смоделировать корреляцию между двумя переменными X и Y. Анализ обычно включает получение ряда релевантных корреляций из литературы наряду с размерами выборки. Затем формулы могут применяться для вычисления средневзвешенной корреляции. Затем может быть проведен анализ, чтобы увидеть, отличаются ли корреляции между исследованиями более, чем …

4
Есть ли тест для пропущенного смещения переменной в OLS?
Мне известен тест «Сброс Рамси», который может обнаружить нелинейные зависимости. Однако, если вы просто выбрасываете один из коэффициентов регрессии (просто линейные зависимости), вы можете получить смещение в зависимости от корреляций. Это явно не обнаружено тестом сброса. Я не нашел тест для этого случая, но это утверждение: «Вы не можете проверить …

3
Курс по экспериментальному дизайну для майнеров данных
Я ученый, работающий в области интеллектуального анализа данных. Не секрет, что ученые-компьютерщики довольно плохо проводят систематический экспериментальный дизайн и оценку - использование p-значений и оценок достоверности считается продвинутым :). Что я хотел бы знать, если есть хорошие курсы / материалы, чтобы научить компьютерщиков о хорошем экспериментальном дизайне. Чтобы сделать это …

3
Имеется в виду SD или Median MAD для суммирования сильно искаженной переменной?
Я работаю с сильно искаженными данными, поэтому я использую медиану вместо среднего для суммирования центральной тенденции. Я хотел бы иметь меру дисперсии Хотя я часто вижу людей, сообщающих о среднем стандартном отклонении±±\pm± ± или медиане квартилях,±±\pm чтобы подвести итог центральной тенденции, можно ли сообщать о медиане медианной абсолютной дисперсии (MAD)±±\pm …

2
Ссылка на ?
В своем ответе на мой предыдущий вопрос, @Erik P. дает выражение где - избыточный эксцесс распределения. Ссылка на статью в Википедии о распределении выборочной дисперсии приведена, но на странице Википедии написано «Требуется цитирование».Var[s2] = σ4( 2n - 1+ κN),Вaр[s2]знак равноσ4(2N-1+κN), \mathrm{Var}[s^2]=\sigma^4 \left(\frac{2}{n-1} + \frac{\kappa}{n}\right) \>, κκ\kappa Мой основной вопрос, есть …

2
Использование Adaboost с SVM для классификации
Я знаю, что Adaboost пытается создать сильный классификатор, используя линейную комбинацию набора слабых классификаторов. Тем не менее, я читал некоторые статьи, в которых говорится, что Adaboost и SVM работают в гармонии (хотя SVM является сильным классификатором) в определенных условиях и случаях . Я не могу понять с точки зрения архитектуры …


5
Могу ли я проверить гипотезу для искаженных нормальных данных?
У меня есть набор данных, который, как я думал, изначально был распространен. Затем я на самом деле посмотрел на это и понял, что это не так, в основном из-за того, что данные искажены, и я также провел тест Шапиро-Уилкса. Я все еще хотел бы проанализировать это, используя статистические методы, и …

3
Как найти стандартное отклонение стандартного отклонения выборки от нормального распределения?
Простите, если я что-то упустил довольно очевидное. Я физик с распределением (по гистограмме), сосредоточенным вокруг среднего значения, которое приближается к нормальному распределению. Важным значением для меня является стандартное отклонение этой гауссовской случайной величины. Как бы я попытался найти ошибку в стандартном отклонении выборки? Я чувствую, что это как-то связано с …

2
Устойчиво ли распределение Пуассона и существуют ли формулы обращения для MGF?
Во-первых, у меня вопрос о том, является ли распределение Пуассона "стабильным" или нет. Очень наивно (и я не слишком уверен в «стабильных» распределениях), я разработал распределение линейной комбинации распределенных по Пуассону RV, используя продукт MGF. Похоже, я получаю еще один Пуассон с параметром, равным линейной комбинации параметров отдельных RV. Итак, …

2
Есть ли такая вещь, как честный кубик?
Есть ли такая вещь, как честный кубик? На кости, где число представлено чертой, конечно, что имеет значение? Кто-нибудь проводил какие-либо исследования? На самом деле, думая об этом, почему бросок монеты будет справедливым? физика на каждой стороне совершенно различна.
11 dice 

2
Значимые предикторы становятся незначимыми при множественной логистической регрессии
Когда я анализирую свои переменные в двух отдельных (одномерных) моделях логистической регрессии, я получаю следующее: Predictor 1: B= 1.049, SE=.352, Exp(B)=2.85, 95% CI=(1.43, 5.69), p=.003 Constant: B=-0.434, SE=.217, Exp(B)=0.65, p=.046 Predictor 2: B= 1.379, SE=.386, Exp(B)=3.97, 95% CI=(1.86, 8.47), p<.001 Constant: B=-0.447, SE=.205, Exp(B)=0.64, p=.029 но когда я ввожу их …

1
Выбор модели ABC
Было показано, что выбор модели ABC с использованием байесовских факторов не рекомендуется из-за наличия ошибки, связанной с использованием сводной статистики. Заключение в этой статье основано на изучении поведения популярного метода аппроксимации байесовского фактора (алгоритм 2). Хорошо известно, что байесовские факторы - не единственный способ выбора модели. Существуют и другие функции, …

1
Преобразует ли r в Fisher z метаанализ?
Обычно преобразуется в Fisher чтобы проверить разницу между двумя значениями . Но когда нужно провести метаанализ, почему мы должны делать такой шаг? Корректирует ли это ошибку измерения или ошибку, не связанную с выборкой, и почему мы должны предполагать, что является несовершенной оценкой корреляции населения?z r rрrrZzzрrrрrr

3
Улучшение имен переменных в наборе данных
Хорошие имена переменных: а) короткий / легкий для ввода, б) легко запомнить, в) понятный / коммуникативный. Я забыл что-нибудь? Последовательность - это то, что нужно искать. Я бы сказал, что согласованные соглашения об именах способствуют достижению указанных выше качеств. Последовательность способствует (б) легкости запоминания и (в) понятности, хотя другие факторы …

Используя наш сайт, вы подтверждаете, что прочитали и поняли нашу Политику в отношении файлов cookie и Политику конфиденциальности.
Licensed under cc by-sa 3.0 with attribution required.