Статистика и большие данные

Я работаю над проектом, который включает 14 переменных и 345 000 наблюдений для данных о жилье (такие как год постройки, квадратные метры, проданная цена, округ проживания и т. Д.). Меня интересует попытка найти хорошие графические методы и библиотеки R, которые содержат хорошие методы построения графиков. Я уже вижу, что в …

15 r  data-visualization  large-data  eda 

Коллега (не статистик) сталкивался с метаанализом в статьях, которые он просматривает для медицинских журналов, и ищет хорошее начальное лечение, чтобы он мог самообразоваться. Любые рекомендации? Избранное? Книги, монографии, нетехнические обзорные статьи - все будет хорошо. (Да, он знаком со статьей в Википедии и другими вещами, легко доступными по поиску в …

15 modeling  meta-analysis 

Несмотря на то, что я получил образование инженера, я обнаружил, что все больше интересуюсь данными. Прямо сейчас я пытаюсь исследовать область далее. В частности, я хотел бы понять различные категории программных инструментов, которые существуют, и какие инструменты известны в каждой категории и почему. (Обратите внимание, что я не сказал «лучшие» …

15 data-mining 

Как инженер-программист, меня интересуют такие темы, как статистические алгоритмы, интеллектуальный анализ данных, машинное обучение, байесовские сети, алгоритмы классификации, нейронные сети, цепочки Маркова, методы Монте-Карло и генерация случайных чисел. Лично мне не доставляло удовольствия работать на практике с любым из этих методов, но мне приходилось работать с программным обеспечением, которое под …

15 references  computational-statistics  computing 

Я согласен с идеей сжатия Джеймса-Стейна (то есть, что нелинейная функция одного наблюдения вектора возможно независимых нормалей может быть лучшей оценкой средних значений случайных величин, где «лучше» измеряется квадратической ошибкой). ). Однако я никогда не видел его в прикладной работе. Я явно недостаточно хорошо прочитал. Есть ли классические примеры того, …

15 estimation  error  shrinkage  application  steins-phenomenon 

Что вы думаете о применении методов машинного обучения, таких как случайные леса или штрафная регрессия (со штрафом L1 или L2 или их комбинацией) в небольших выборочных клинических исследованиях, когда цель состоит в том, чтобы выделить интересные предикторы в контексте классификации? Это не вопрос выбора модели, и я не спрашиваю, как …

15 machine-learning  feature-selection 

мой вопрос особенно касается реконструкции сети

15 correlation  mutual-information 

Закрыто . Этот вопрос основан на мнении . В настоящее время он не принимает ответы. Хотите улучшить этот вопрос? Обновите вопрос, чтобы ответить на него фактами и цитатами, отредактировав этот пост . Закрыто 3 года назад . Правила: один классификатор за ответ голосовать, если вы согласны уменьшить / удалить дубликаты. …

15 machine-learning  classification  application 

Переключение меток (т. Е. Апостериорное распределение инвариантно к переключению меток компонентов) является проблемной проблемой при использовании MCMC для оценки моделей смесей. Существует ли стандартная (как в общепринятой) методология для решения этой проблемы? Если стандартного подхода не существует, каковы плюсы и минусы ведущих подходов к решению проблемы переключения меток?

15 bayesian  mcmc  mixture 

В Австралии в настоящее время проводятся выборы, и по понятным причинам СМИ ежедневно сообщают о новых результатах политического опроса. В стране с населением 22 миллиона человек какой процент населения должен быть выбран для получения статистически достоверного результата? Возможно ли, что использование слишком большой выборки может повлиять на результаты, или статистическая …

15 sample-size  polling 

В моей области исследований популярным способом отображения данных является использование комбинации гистограммы с «ручками». Например, «Ручки» чередуются между стандартными ошибками и стандартными отклонениями в зависимости от автора. Как правило, размеры выборки для каждого «бара» довольно малы - около шести. Эти сюжеты, кажется, особенно популярны в биологических науках - см. Несколько …

15 data-visualization 

Некоторое время назад пользователь из списка рассылки R-help спросил о целесообразности использования оценок PCA в регрессии. Пользователь пытается использовать некоторые оценки ПК для объяснения изменений на другом ПК (см. Полное обсуждение здесь ). Ответ был таков: нет, это не так, потому что компьютеры ортогональны друг другу. Может кто-нибудь объяснить немного …

15 regression  pca 

Как я понимаю, в школах Великобритании учат, что стандартное отклонение определяется с использованием: в то время как школы США преподают: (на базовом уровне в любом случае). В прошлом это вызывало проблемы у моих студентов, которые искали в Интернете, но нашли неверное объяснение. Почему разница? С простыми наборами данных, скажем, 10 …

15 standard-deviation  error  teaching  unbiased-estimator 

Я думаю, я уже понял математическое определение непротиворечивой оценки. Поправьте меня если я ошибаюсь: WnWnW_n - непротиворечивая оценка для if \ forall \ epsilon> 0θθ\theta∀ϵ>0∀ϵ>0\forall \epsilon>0 limn→∞P(|Wn−θ|>ϵ)=0,∀θ∈Θlimn→∞P(|Wn−θ|>ϵ)=0,∀θ∈Θ\lim_{n\to\infty} P(|W_n - \theta|> \epsilon) = 0, \quad \forall\theta \in \Theta Где ΘΘ\Theta - Параметрическое Пространство. Но я хочу понять, что оценка должна быть …

15 estimation  consistency 

Я читаю учебник Гауссовского процесса для машинного обучения CE Расмуссена и CKI Williams, и у меня возникают некоторые затруднения с пониманием того, что означает распределение по функциям . В учебнике приводится пример того, что функцию следует представлять как очень длинный вектор (на самом деле он должен быть бесконечно длинным?). Таким …

15 distributions  gaussian-process