Статистика и большие данные

Вопросы и ответы для людей, интересующихся статистикой, машинным обучением, анализом данных, интеллектуальным анализом данных и визуализацией данных

5
Может ли эмпирический гессиан М-оценки быть неопределенным?
Джеффри Вулдридж в своем эконометрическом анализе данных поперечного сечения и панелей (стр. 357) говорит, что эмпирический гессиан «не гарантированно будет положительно определенным или даже положительно полуопределенным для конкретного образца, с которым мы работаем». Это кажется мне неправильным, поскольку (помимо численных проблем) гессиан должен быть положительно полуопределенным в результате определения М-оценки …

3
Учебники по объектно-ориентированному программированию в R [закрыто]
Закрыто. Этот вопрос не по теме . В настоящее время он не принимает ответы. Закрыто 4 года назад . Locked . Этот вопрос и его ответы заблокированы, потому что вопрос не по теме, но имеет историческое значение. В настоящее время он не принимает новые ответы или взаимодействия. Есть ли хорошие …
15 r 

3
Каковы различия между скрытым семантическим анализом (LSA), скрытой семантической индексацией (LSI) и разложением по сингулярным значениям (SVD)?
Эти термины часто встречаются вместе, но я хотел бы знать, как вы думаете, в чем различия, если таковые имеются. Благодарность
15 pca  text-mining  svd 

1
Лагранжева релаксация в контексте гребневой регрессии
В «Элементах статистического обучения» (2-е изд.), Стр. 63, авторы приводят следующие две формулировки проблемы регрессии гребня: β^ridge=argminβ{∑i=1N(yi−β0−∑j=1pxijβj)2+λ∑j=1pβ2j}β^ridge=argminβ{∑i=1N(yi−β0−∑j=1pxijβj)2+λ∑j=1pβj2} \hat{\beta}^{ridge} = \underset{\beta}{\operatorname{argmin}} \left\{ \sum_{i=1}^N(y_i-\beta_0-\sum_{j=1}^p x_{ij} \beta_j)^2 + \lambda \sum_{j=1}^p \beta_j^2 \right\} и β^ridge=argminβ∑i=1N(yi−β0−∑j=1pxijβj)2, subject to ∑j=1pβ2j≤t.β^ridge=argminβ∑i=1N(yi−β0−∑j=1pxijβj)2, subject to ∑j=1pβj2≤t. \hat{\beta}^{ridge} = \underset{\beta}{\operatorname{argmin}} \sum_{i=1}^N(y_i-\beta_0-\sum_{j=1}^p x_{ij} \beta_j)^2 \text{, subject to } \sum_{j=1}^p \beta_j^2 \leq …

4
Доверительные интервалы для параметров регрессии: байесовский или классический
Учитывая два массива x и y длиной n, я подгоняю модель y = a + b * x и хочу рассчитать 95% доверительный интервал для наклона. Это (b - дельта, b + дельта), где b находится обычным образом и delta = qt(0.975,df=n-2)*se.slope и se.slope - стандартная ошибка на склоне. Один …

5
Как моделировать цены?
Я задал этот вопрос на сайте обмена стеками matemathics, и его рекомендовали задать здесь. Я работаю над хобби-проектом и мне нужна помощь в решении следующей проблемы. Немного контекста Допустим, есть коллекция предметов с описанием возможностей и ценой. Представьте себе список автомобилей и цены. У всех автомобилей есть список характеристик, например, …

2
VIF, индекс состояния и собственные значения
В настоящее время я оцениваю мультиколлинеарность в моих наборах данных. Какие пороговые значения VIF и индекса состояния ниже / выше указывают на проблему? VIF: я слышал, что VIF является проблемой.≥ 10≥10\geq 10 После удаления двух проблемных переменных VIF равен для каждой переменной. Нужно ли обрабатывать переменные или этот VIF-файл выглядит …

2
Откуда берутся полные условия в выборке Гиббса?
Алгоритмы MCMC, такие как выборка Метрополиса-Гастингса и Гиббса, являются способами отбора из совместных задних распределений. Я думаю, что понимаю и могу реализовать мегаполисную поспешность довольно легко - вы просто каким-то образом выбираете отправные точки и «ходите по пространству параметров» случайным образом, руководствуясь апостериорной плотностью и плотностью предложений. Выборка Гиббса кажется …
15 bayesian  mcmc  gibbs 

2
Показывать среднее вместо медианного в боксплоте [закрыто]
Закрыто. Этот вопрос не по теме . В настоящее время он не принимает ответы. Хотите улучшить этот вопрос? Обновите вопрос, чтобы он соответствовал теме перекрестной проверки. Закрыто 4 месяца назад . При построении коробочного графика с помощью python matplotblib линии на половине графика являются медианой распределения. Есть ли возможность вместо …


2
Случайные числа и многоядерный пакет
При программировании на R я использовал многоядерный пакет несколько раз. Тем не менее, я никогда не видел заявления о том, как он обрабатывает случайные числа. Когда я использую openMP с C, я осторожно использую правильный параллельный RNG, но с R я предполагаю, что происходит что-то разумное. Кто-нибудь может подтвердить, что …

4
Статистическое сходство временных рядов
Предположим, у кого-то есть временной ряд, из которого можно выполнить различные измерения, такие как период, максимум, минимум, среднее и т. Д., А затем использовать их для создания модельной синусоидальной волны с такими же атрибутами. Существуют ли какие-либо статистические подходы, которые можно использовать для количественной оценки? насколько точно фактические данные соответствуют …

4
Сравнение моделей со смешанным эффектом с одинаковым количеством степеней свободы
У меня есть эксперимент, который я постараюсь изложить здесь. Представьте, что я бросаю перед вами три белых камня и прошу вас высказать свое мнение об их положении. Я записываю различные свойства камней и ваш ответ. Я делаю это по ряду предметов. Я генерирую две модели. Во-первых, ближайший к вам камень …

3
Используют ли некоторые из вас электронную таблицу Документов Google, чтобы вести статистическую работу и делиться ею с другими?
Я знаю, что большинство из вас, вероятно, считают, что Документы Google по-прежнему являются примитивным инструментом. Это не Matlab или R и даже не Excel. Тем не менее, я сбит с толку мощью этого веб-программного обеспечения, которое просто использует возможности браузера (и совместимо со многими браузерами, которые работают совсем по-другому). Майк …

2
Существует ли модель коинтеграции для нерегулярно расположенных временных рядов?
Мне не ясно, как рассчитать коинтеграцию с нерегулярными временными рядами (в идеале, используя тест Йохансена с VECM). Моей первоначальной мыслью было бы упорядочить ряд и интерполировать пропущенные значения, хотя это может повлиять на оценку. Есть ли литература на эту тему?

Используя наш сайт, вы подтверждаете, что прочитали и поняли нашу Политику в отношении файлов cookie и Политику конфиденциальности.
Licensed under cc by-sa 3.0 with attribution required.