Статистика и большие данные

Вопрос: Есть ли хорошие примеры воспроизводимых исследований с использованием R, которые свободно доступны онлайн? Идеальный пример. В частности, идеальные примеры могли бы обеспечить: Необработанные данные (и в идеале метаданные, поясняющие данные), Весь код R, включая импорт, обработку, анализ и генерацию данных, Sweave или какой-то другой подход для привязки окончательного результата …

71 r  references  reproducible-research 

Этот вопрос был вызван тем, что я прочитал в этом учебнике по статистике для выпускников, а также (независимо) услышал во время этой презентации на статистическом семинаре. В обоих случаях утверждение было следующим: «поскольку размер выборки довольно мал, мы решили выполнить оценку с помощью начальной загрузки вместо (или вместе с) этого …

71 bootstrap  small-sample 

В настоящее время я работаю над квази-экспериментальной исследовательской работой. У меня размер выборки только 15 из-за низкой численности населения в выбранной области, и только 15 соответствуют моим критериям. Является ли 15 минимальным размером выборки для t-теста и F-теста? Если так, где я могу получить статью или книгу, чтобы поддержать этот …

71 t-test  sample-size  assumptions  power 

Для исследования моделирования я должен генерировать случайные переменные , которые показывают prefined (населения) корреляцию с существующей переменной .YYY Я посмотрел на Rпакеты copulaи CDVineкоторые могут производить случайные многомерные распределения с заданной структурой зависимостей. Однако невозможно зафиксировать одну из результирующих переменных в существующей переменной. Любые идеи и ссылки на существующие функции …

71 r  correlation  random-variable  random-generation  independence  assumptions  random-variable  unbiased-estimator  regression  hypothesis-testing  heteroscedasticity  generalized-least-squares  distributions  networks  data-visualization  sas  reproducible-research  philosophical  time-series  variance  outliers  quality-control  mean  multilevel-analysis  average  weighted-mean  regression  confidence-interval  prediction-interval  correlation  matlab  matrix  data-mining  maximum-likelihood  r  time-series  survival  predictive-models 

Канонический корреляционный анализ (CCA) - это метод, связанный с анализом главных компонентов (PCA). Хотя учить PCA или линейную регрессию легко, используя график рассеяния (см. Несколько тысяч примеров по поиску изображений в Google), я не видел подобного интуитивного двумерного примера для CCA. Как объяснить, что делает линейный CCA?

70 regression  data-visualization  pca  canonical-correlation  geometry 

Мне любопытно, для тех из вас, кто имеет большой опыт сотрудничества с другими исследователями, с какими наиболее распространенными заблуждениями о линейной регрессии вы сталкиваетесь? Я думаю, что это может быть полезным упражнением, чтобы заранее подумать о распространенных заблуждениях, чтобы Предвидеть ошибки людей и быть в состоянии успешно сформулировать, почему некоторые …

70 regression  multiple-regression 

Вопрос: Я хочу быть уверенным в чем-то, является ли использование перекрестной проверки в k-кратном порядке с временными рядами простым или нужно обратить особое внимание перед использованием? Предыстория: я моделирую временной ряд 6 лет (с цепью полумарков) с выборкой данных каждые 5 минут. Чтобы сравнить несколько моделей, я использую 6-кратную перекрестную …

70 time-series  modeling  cross-validation 

Эконометрика имеет существенное совпадение с традиционной статистикой, но часто использует свой собственный жаргон на различные темы («идентификация», «экзогенный» и т. Д.). Однажды я услышал от профессора по прикладной статистике в другой области комментарий, что часто терминология отличается, но концепции совпадают. Тем не менее, он также имеет свои собственные методы и …

70 econometrics  terminology 

Почему при множественной линейной регрессии возможно иметь очень значительную F-статистику (p <.001), но иметь очень высокие p-значения во всех t-тестах регрессора? В моей модели 10 регрессоров. Один имеет значение р 0,1, а остальные выше 0,9 Для решения этой проблемы см. Следующий вопрос .

70 hypothesis-testing  regression  t-test  multicollinearity 

Еще в апреле я присутствовал на лекции в серии семинаров группы по статистике математического отдела UMD под названием «Объяснить или предсказать?». С докладом выступил профессор Галит Шмуэли, который преподает в Смитской школе бизнеса UMD. Ее доклад был основан на исследовании, которое она провела для статьи «Предсказательное и объяснительное моделирование в …

70 predictive-models 

Фон Я работаю в Центре сетевых операций, мы отслеживаем компьютерные системы и их производительность. Одним из ключевых показателей для мониторинга является количество посетителей \ клиентов, которые в настоящее время подключены к нашим серверам. Чтобы сделать это видимым, мы (команда Ops) собираем такие метрики, как данные временных рядов и рисуем графики. …

70 machine-learning  time-series  python  computational-statistics  anomaly-detection 

Какова подходящая стратегия для разделения набора данных? Я прошу обратную связь на следующий подход ( а не на отдельных параметров , таких как test_sizeили n_iter, но если я X, y, X_train, y_train, X_test, и y_testсоответствующим образом и , если последовательность имеет смысл): (расширяя этот пример из документации scikit-learn) 1. Загрузите …

70 machine-learning  cross-validation  python  scikit-learn 

Я сравнил ?prcompи ?princompнашел кое-что о анализе главных компонентов Q-режима и R-режима (PCA). Но, честно говоря, я этого не понимаю. Кто-нибудь может объяснить разницу и, возможно, даже объяснить, когда применять какие?

70 r  pca 

Необходимо понимать работу слоя «Встраивание» в библиотеке Keras. Я выполняю следующий код в Python import numpy as np from keras.models import Sequential from keras.layers import Embedding model = Sequential() model.add(Embedding(5, 2, input_length=5)) input_array = np.random.randint(5, size=(1, 5)) model.compile('rmsprop', 'mse') output_array = model.predict(input_array) который дает следующий вывод input_array = [[4 1 …

70 text-mining  word-embeddings  keras 

Эпоха в стохастическом градиентном спуске определяется как один проход данных. Для каждой мини-партии SGD отбирается Кkk выборок, вычисляется градиент и обновляются параметры. В настройках эпохи образцы оформляются без замены. Но это кажется ненужным. Почему бы не нарисовать каждый мини-пакет SGD как случайных отрисовок из всего набора данных на каждой итерации? …

69 neural-networks  deep-learning  gradient-descent