Статистика и большие данные

Locked . Этот вопрос и его ответы заблокированы, потому что вопрос не по теме, но имеет историческое значение. В настоящее время он не принимает новые ответы или взаимодействия. Я купил эту книгу: Как измерить что-либо: найти значение нематериальных активов в бизнесе и Head First Анализ данных: Учебное пособие для больших …

17 machine-learning  bayesian  references 

Я пытаюсь проверить нулевое значение сравнении с локальной альтернативой E [ X ] > 0 для случайной величины X , подверженной небольшому или среднему перекосу и эксцессу случайной величины. Следуя предложениям Уилкокса в «Введении в робастную оценку и проверку гипотез», я рассмотрел тесты, основанные на усеченном среднем, медиане, а также …

17 hypothesis-testing  t-test  finance  robust 

Раньше я анализировал предметы с психометрической точки зрения. Но сейчас я пытаюсь проанализировать другие типы вопросов по мотивации и другим темам. Эти вопросы все по шкалам Лайкерта. Моя первоначальная мысль состояла в том, чтобы использовать факторный анализ, потому что гипотезы предполагают отражение некоторых основных аспектов. Но уместен ли факторный анализ? …

17 factor-analysis  scales  psychometrics  likert  psychology 

Из-за факториала в распределении Пуассона становится непрактичным оценивать модели Пуассона (например, с использованием максимальной вероятности), когда наблюдения велики. Так, например, если я пытаюсь оценить модель для объяснения количества самоубийств в конкретном году (доступны только годовые данные) и скажу, что каждый год совершаются тысячи самоубийств, неправильно ли выражать самоубийства сотнями , …

17 modeling  poisson-distribution  large-data 

Мы можем предположить, что у нас есть файл CSV, и нам нужен очень простой линейный график с несколькими линиями на одном графике и простой легендой.

17 data-visualization 

Я хотел бы построить алгоритм, который мог бы анализировать любые временные ряды и «автоматически» выбирать лучший традиционный / статистический метод прогнозирования (и его параметры) для анализируемых данных временных рядов. Было бы возможно сделать что-то подобное? Если да, можете ли вы дать мне несколько советов о том, как это можно сделать?

17 time-series  forecasting  python 

Думая об использовании повторяющихся нейронных сетей для прогнозирования временных рядов. Они в основном реализуют своего рода обобщенную нелинейную авторегрессию по сравнению с моделями ARMA и ARIMA, которые используют линейную авторегрессию. Если мы выполняем нелинейную авторегрессию, все еще необходимо, чтобы временной ряд был стационарным, и нужно ли нам выполнять дифференцирование, как …

17 time-series  autoregressive  nonlinear  stationarity 

Мое понимание алгоритма следующее: Пробоотборник без разворота (NUTS) - это метод Гамильтона Монте-Карло. Это означает, что это не метод цепей Маркова, и, таким образом, этот алгоритм избегает части случайного блуждания, которая часто считается неэффективной и медленно сходится. Вместо случайного блуждания NUTS делает прыжки длиной x. Каждый прыжок удваивается, поскольку алгоритм …

17 bayesian  monte-carlo  markov-process 

Надежный PCA (разработанный Candes et al. 2009 или более поздней версии Netrepalli et al 2014 ) является популярным методом многомерного обнаружения выбросов , но расстояние Махаланобиса также можно использовать для обнаружения выбросов с помощью надежной регуляризованной оценки ковариационной матрицы . Мне любопытно (не) преимущества использования одного метода перед другим. Моя …

17 pca  outliers  covariance-matrix  robust  anomaly-detection 

Я использую Лассо для выбора объектов в относительно низкой размерности (n >> p). После подбора модели Лассо я хочу использовать ковариаты с ненулевыми коэффициентами, чтобы соответствовать модели без штрафа. Я делаю это, потому что хочу объективных оценок, которые Лассо не может дать мне. Я также хотел бы p-значения и доверительные …

17 regression  feature-selection  lasso  unbiased-estimator 

Я просматриваю следующий блог по нейронной сети LSTM: http://machinelearningmastery.com/understanding-stateful-lstm-recurrent-neural-networks-python-keras/ Автор изменяет входной вектор X как [выборки, временные шаги, особенности] для различной конфигурации LSTM. Автор пишет Действительно, последовательности букв являются временными шагами одного признака, а не одним временным шагом отдельных признаков. Мы дали больше контекста для сети, но не больше последовательности, …

17 neural-networks  lstm  rnn  tensorflow  tensor 

Я работаю со многими алгоритмами: RandomForest, DecisionTrees, NaiveBayes, SVM (kernel = linear и rbf), KNN, LDA и XGBoost. Все они были довольно быстрыми, кроме SVM. Именно тогда я узнал, что для ускорения работы требуется масштабирование функций. Тогда я начал задаваться вопросом, должен ли я сделать то же самое для других …

17 machine-learning  svm  random-forest  naive-bayes  xgboost 

Я прочитал следующие посты о вложенной перекрестной проверке и до сих пор не уверен на 100%, что мне делать с выбором модели с вложенной перекрестной проверкой: Вложенная перекрестная проверка для выбора модели Выбор модели и перекрестная проверка: правильный путь Чтобы объяснить мою путаницу, позвольте мне попробовать пошагово пройти выбор модели …

17 cross-validation  scikit-learn  hyperparameter 

Во-первых, извинения за размещение вопроса, который уже подробно обсуждался здесь , здесь , здесь , здесь , здесьи для разогрева старой темы. Я знаю, что @DikranMarsupial подробно писал об этой теме в постах и ​​журнальных статьях, но я все еще в замешательстве, и, судя по количеству подобных постов, это все …

17 machine-learning  cross-validation  model-selection  glmnet  hyperparameter 

Если у меня есть данные, и я запускаю классификацию (скажем, случайный лес на этих данных) с перекрестной проверкой (скажем, 5-кратной), могу ли я заключить, что в моем методе нет чрезмерного соответствия?

17 cross-validation  overfitting