Наука о данных

У меня есть набор данных с 20000 сэмплами, каждый имеет 12 различных функций. Каждая выборка относится к категории 0 или 1. Я хочу обучить нейронную сеть и лес решений для классификации выборок, чтобы можно было сравнить результаты и оба метода. Первое, на что я наткнулся, это правильная нормализация данных. Одна …

10 neural-network  decision-trees  normalization 

У меня есть набор данных, включающий набор клиентов в разных городах Калифорнии, время вызова для каждого клиента и статус вызова (True, если клиент отвечает на вызов, и False, если клиент не отвечает). Я должен найти подходящее время звонка для будущих клиентов, так что вероятность ответа на звонок высока. Итак, какова …

10 machine-learning  classification  regression  scikit-learn 

По определению, Relu есть max(0,f(x)). Затем ее градиент определяется как: 1 if x > 0 and 0 if x < 0. Не означает ли это, что градиент всегда равен 0 (исчезает), когда x <0? Тогда почему мы говорим, что Relu не страдает от проблемы градиентного исчезновения?

10 deep-learning 

Учитывая сложную задачу обучения (например, высокую размерность, сложность данных), глубокие нейронные сети становятся сложными для обучения. Чтобы облегчить многие из проблем, можно: Нормализовать && данные качества отобранных вручную выберите другой алгоритм обучения (например, RMSprop вместо Gradient Descent) выберите функцию более крутого градиента стоимости (например, перекрестная энтропия вместо MSE) Используйте другую …

10 machine-learning  neural-network  deep-learning  randomized-algorithms 

Новичок в аналитике с Python, поэтому, пожалуйста, будьте осторожны :-) Я не смог найти ответ на этот вопрос - извинения, если на него уже ответили в другом формате в другом формате. У меня есть набор данных транзакций для торговой точки. Переменные вместе с объяснением: раздел: раздел магазина, ул; prod_name: название …

10 python  statistics  pandas  ipython 

Я новичок в XGBoost, так что простите мое невежество. Вот код Python: import pandas as pd import xgboost as xgb df = pd.DataFrame({'x':[1,2,3], 'y':[10,20,30]}) X_train = df.drop('y',axis=1) Y_train = df['y'] T_train_xgb = xgb.DMatrix(X_train, Y_train) params = {"objective": "reg:linear"} gbm = xgb.train(dtrain=T_train_xgb,params=params) Y_pred = gbm.predict(xgb.DMatrix(pd.DataFrame({'x':[4,5]}))) print Y_pred Выход: [ 24.126194 24.126194] …

10 python  linear-regression  xgboost 

У меня есть набор данных, содержащий данные о температуре, количестве осадков и урожайности сои для фермы за 10 лет (2005 - 2014). Я хотел бы прогнозировать урожайность на 2015 год на основе этих данных. Обратите внимание, что набор данных имеет ЕЖЕДНЕВНЫЕ значения для температуры и осадков, но только 1 значение …

10 python  scikit-learn  pandas 

Рекомендуется, чтобы у нас были данные о пользовательских продуктах, которые помечены, например, как «клик». Чтобы узнать модель, мне нужны данные по кликам и без кликов. Простейший подход к генерации - это взять пары продуктов пользователя, которые не найдены в данных о кликах. Однако это может вводить в заблуждение. Пример: user1, …

10 machine-learning  data-mining 

Допустим, мы прогнозируем продажи магазина, и мои данные обучения имеют два набора функций: Один о продаже магазина с датами (поле «Магазин» не является уникальным) Один из типов магазинов (поле «Магазин» здесь уникально) Таким образом, матрица будет выглядеть примерно так: +-------+-----------+------------+---------+-----------+------+-------+--------------+ | Store | DayOfWeek | Date | Sales | Customers …

10 machine-learning  regression  feature-selection  feature-construction  missing-data 

Я понимаю, как скрытая марковская модель используется в геномных последовательностях, таких как поиск гена. Но я не понимаю, как придумать конкретную марковскую модель. Я имею в виду, сколько состояний должна иметь модель? Сколько возможных переходов? Должна ли модель иметь петлю? Как они узнали бы, что их модель оптимальна? Представляют ли …

10 machine-learning  model-selection  hyperparameter  markov 

Я хотел бы сравнить разницу между одним и тем же словом, упомянутым в разных источниках. То есть, чем отличаются авторы в использовании плохо определенных слов, таких как «демократия». Краткий план был Возьмите книги с упоминанием термина «демократия» как простой текст В каждой книге заменить democracyнаdemocracy_%AuthorName% Тренируй word2vecмодель по этим книгам …

10 text-mining  word-embeddings 

Во многих пакетах нейронных сетей кажется стандартным объединение целевой функции, которая должна быть минимизирована, с функцией активации в выходном слое. Например, для линейного выходного слоя, используемого для регрессии, является стандартным (и часто единственным выбором) иметь целевую функцию квадрата ошибки. Другим обычным сопряжением является логистический вывод и потери в журнале (или …

10 neural-network  gradient-descent 

Я пытаюсь обучить искусственную нейронную сеть с двумя сверточными слоями (с1, с2) и двумя скрытыми слоями (с1, с2). Я использую стандартный подход обратного распространения. При обратном проходе я вычисляю член ошибки слоя (дельта) на основе ошибки предыдущего слоя, весов предыдущего слоя и градиента активации относительно функции активации текущего слоя. Более …

10 machine-learning  data-mining  neural-network  deep-learning 

Итак, наш набор данных на этой неделе имеет 14 атрибутов, и каждый столбец имеет очень разные значения. Один столбец имеет значения ниже 1, а другой - от трех до четырех целых цифр. Мы изучали нормализацию на прошлой неделе, и кажется, что вы должны нормализовать данные, когда они имеют очень разные …

10 r  beginner 

Я пытаюсь создать хеш, чувствительный к косинусной местности, чтобы найти подходящие пары элементов без необходимости сравнивать каждую возможную пару. У меня это в основном работает, но большинство пар в моих данных, похоже, имеют косинусное сходство в диапазоне от -0,2 до +0,2, поэтому я пытаюсь нарезать кубики довольно точно и выбирать …

10 machine-learning