Наука о данных

В реализации Word2Vec есть iterпараметрgensim класс gensim.models.word2vec.Word2Vec (предложения = нет, размер = 100, альфа = 0,025, окно = 5, min_count = 5, max_vocab_size = нет, образец = 0, семя = 1, рабочие = 1, min_alpha = 0,0001, сг. = 1, hs = 1, отрицательный = 0, cbow_mean = 0, hashfxn …

14 gensim  word2vec  convergence 

Я пытаюсь запустить xgboost в scikit learn. И я использую только Pandas для загрузки данных в dataframe. Как я должен использовать панд DF с xgboost. Меня смущает процедура DMatrix, необходимая для запуска алгоритма xgboost.

14 scikit-learn  pandas  xgboost 

Я не специалист в данной области, и мой вопрос, вероятно, очень наивный. Это вытекает из эссе, чтобы понять возможности и ограничения обучения подкрепления, как используется в программе AlphaGo. Программа AlphaGo была построена с использованием, среди прочего (исследование деревьев в Монте-Карло и т. Д.) Нейронных сетей, которые обучаются на основе огромной …

13 reinforcement-learning 

Насколько я понимаю, генетические алгоритмы являются мощными инструментами для многоцелевой оптимизации. Кроме того, обучение нейронных сетей (особенно глубоких) является сложным и имеет много проблем (невыпуклые функции стоимости - локальные минимумы, исчезающие и взрывные градиенты и т. Д.). Также я считаю, что концептуально обучение NN с GA возможно. Мне было интересно, …

13 neural-network  optimization  genetic-algorithms 

Я хочу знать, является ли градиентный спуск основным алгоритмом, используемым в оптимизаторах, таких как Adam, Adagrad, RMSProp и некоторых других оптимизаторах.

13 machine-learning  neural-network  deep-learning  optimization  gradient-descent 

Я пытаюсь понять эту статью и не уверен, что такое билинейное повышение частоты дискретизации. Кто-нибудь может объяснить это на высоком уровне? https://arxiv.org/abs/1606.00915

13 deep-learning  convnet  cnn  convolution 

На странице Википедии, которая цитирует «Элементы статистического обучения», написано: Как правило, для задачи классификации с функциями, ⌊ √ппp функции используются в каждом разделении.⌊ р-√⌋⌊п⌋\lfloor \sqrt{p}\rfloor Я понимаю, что это довольно обоснованное предположение, и оно, вероятно, подтверждается эмпирическими данными, но есть ли другие причины, по которым можно было бы выбрать квадратный …

13 statistics  random-forest  optimization  evaluation  sampling 

Если я тренирую свою модель, используя следующий код: import xgboost as xg params = {'max_depth':3, 'min_child_weight':10, 'learning_rate':0.3, 'subsample':0.5, 'colsample_bytree':0.6, 'obj':'reg:linear', 'n_estimators':1000, 'eta':0.3} features = df[feature_columns] target = df[target_columns] dmatrix = xg.DMatrix(features.values, target.values, feature_names=features.columns.values) clf = xg.train(params, dmatrix) это заканчивается примерно через 1 минуту. Если я тренирую свою модель, используя метод …

13 machine-learning  python  decision-trees  xgboost  efficiency 

У меня есть датафрейм, который среди прочего содержит столбец количества миллисекунд, прошедших с 1970-1-1. Мне нужно преобразовать этот столбец целых чисел в данные метки времени, чтобы затем я мог в конечном итоге преобразовать его в столбец данных даты и времени, добавив серию столбцов метки времени в серию, которая полностью состоит …

13 python  time-series  data-cleaning  pandas 

В Mode Analytics есть отличная функция тепловых карт ( https://community.modeanalytics.com/gallery/geographic-heat-map/ ). Но это не способствует сравнению карт (только одна на отчет). То, что они делают, - это то, что данные легко переносятся в завернутый блокнот Python. И тогда любое изображение на python можно легко добавить в отчет. Итак, мой вопрос: …

13 python  visualization  geospatial 

У меня есть небольшой подвопрос к этому вопросу . Я понимаю, что при обратном распространении через слой максимального пула градиент направляется обратно таким образом, что нейрон в предыдущем слое, который был выбран как максимальный, получает весь градиент. В чем я не уверен на 100%, так это как градиент в следующем …

13 machine-learning  neural-network  convnet  backpropagation 

Я использую scikit-learn Random Forest Classifier и хочу показать важность функции, как в этом примере . Однако мой результат совершенно другой, в том смысле, что стандартное отклонение важности объекта почти всегда больше, чем значение самого свойства (см. Прилагаемое изображение). Возможно ли иметь такое поведение, или я делаю какие-то ошибки при …

13 python  random-forest 

У меня есть текстовые документы, которые содержат в основном списки предметов. Каждый элемент представляет собой группу из нескольких токенов разных типов: FirstName, LastName, BirthDate, PhoneNumber, City, Occupation и т. Д. Маркер представляет собой группу слов. Предметы могут лежать на нескольких строках. Элементы из документа имеют примерно одинаковый синтаксис токена, но …

13 data-mining  clustering  text-mining  time-series  correlation 

Я хочу предсказать некоторое значение и я пытаюсь получить некоторое предсказание которое оптимизирует между минимально возможным, но все же большим, чем . Другими словами: У ( х ) У ( х ) стоимость { Y ( х ) ≳ Y ( х ) } > > Стоимость { Y ( …

13 machine-learning  logistic-regression 

Я новичок в машинном обучении и сталкиваюсь с ситуацией. Я работаю над проблемой ставок в реальном времени с набором данных IPinYou и пытаюсь сделать прогноз клика. Дело в том, что, как вы, возможно, знаете, набор данных очень несбалансирован: около 1300 отрицательных примеров (без кликов) на 1 положительный пример (клик). Это …

13 machine-learning  dataset  sampling