Вопросы с тегом «decision-trees»

Может ли кто-нибудь практически объяснить обоснованность примеси Джини против получения информации (на основе энтропии)? Какой показатель лучше использовать в различных сценариях при использовании деревьев решений?

66 machine-learning  decision-trees 

Я делаю некоторые проблемы с применением дерева решений / случайного леса. Я пытаюсь приспособить проблему, в которой в качестве функций есть цифры, а также строки (например, название страны). Теперь библиотека scikit-learn принимает только числа в качестве параметров, но я хочу ввести строки, так как они несут значительный объем знаний. Как …

64 machine-learning  python  scikit-learn  random-forest  decision-trees 

Я не был ясен в паре концепций: XGBoost превращает слабых учеников в сильных учеников. В чем преимущество этого? Объединить много слабых учеников вместо одного дерева? Random Forest использует различные образцы из дерева для создания дерева. В чем преимущество этого метода вместо использования единственного дерева?

25 machine-learning  data-mining  random-forest  decision-trees  xgboost 

Недавно моего друга спросили, являются ли алгоритмы дерева решений линейными или нелинейными алгоритмами в интервью. Я пытался найти ответы на этот вопрос, но не смог найти удовлетворительного объяснения. Может кто-нибудь ответить и объяснить решение этого вопроса? Кроме того, каковы некоторые другие примеры нелинейных алгоритмов машинного обучения?

21 machine-learning  classification  decision-trees  algorithms  pac-learning 

Я создаю corr()DF из оригинального DF. corr()ДФ вышел 70 X 70 и невозможно представить себе Heatmap ... sns.heatmap(df). Если я попытаюсь отобразить corr = df.corr(), таблица не умещается на экране, и я вижу все корреляции. Это способ печати всего, dfнезависимо от его размера, или контроля размера тепловой карты?

16 visualization  pandas  plotting  machine-learning  neural-network  svm  decision-trees  svm  efficiency  python  linear-regression  machine-learning  nlp  topic-model  lda  named-entity-recognition  naive-bayes-classifier  association-rules  fuzzy-logic  kaggle  deep-learning  tensorflow  inception  classification  feature-selection  feature-engineering  machine-learning  scikit-learn  tensorflow  keras  encoding  nlp  text-mining  nlp  rnn  python  neural-network  feature-extraction  machine-learning  predictive-modeling  python  r  linear-regression  clustering  r  ggplot2  neural-network  neural-network  training  python  neural-network  deep-learning  rnn  predictive-modeling  databases  sql  programming  distribution  dataset  cross-validation  neural-network  deep-learning  rnn  machine-learning  machine-learning  python  deep-learning  data-mining  tensorflow  visualization  tools  sql  embeddings  orange  feature-extraction  unsupervised-learning  gan  machine-learning  python  data-mining  pandas  machine-learning  data-mining  bigdata  apache-spark  apache-hadoop  deep-learning  python  convnet  keras  aggregation  clustering  k-means  r  random-forest  decision-trees  reference-request  visualization  data  pandas  plotting  neural-network  keras  rnn  theano  deep-learning  tensorflow  inception  predictive-modeling  deep-learning  regression  sentiment-analysis  nlp  encoding  deep-learning  python  scikit-learn  lda  convnet  keras  predictive-modeling  regression  overfitting  regression  svm  prediction  machine-learning  similarity  word2vec  information-retrieval  word-embeddings  neural-network  deep-learning  rnn 

Приведенная ниже функция прогнозирования также дает значения -ve, поэтому она не может быть вероятностью. param <- list(max.depth = 5, eta = 0.01, objective="binary:logistic",subsample=0.9) bst <- xgboost(param, data = x_mat, label = y_mat,nround = 3000) pred_s <- predict(bst, x_mat_s2) Я попробовал Google, pred_s <- predict(bst, x_mat_s2,type="response") но это не сработало. Вопрос …

16 machine-learning  r  predictive-modeling  decision-trees 

В каких случаях лучше использовать дерево решений, а в других случаях - KNN? Зачем использовать один из них в определенных случаях? А другие в разных случаях? (Глядя на его функциональность, а не на алгоритм) У кого-нибудь есть объяснения или ссылки по этому поводу?

15 machine-learning  data-mining  decision-trees 

Я работаю над проблемой классификации. У меня есть набор данных, содержащий равное количество категориальных переменных и непрерывных переменных. Как я узнаю, какую технику использовать? между деревом решений и логистической регрессией? Правильно ли предположить, что логистическая регрессия будет более подходящей для непрерывной переменной, а дерево решений будет более подходящим для непрерывной …

14 classification  logistic-regression  decision-trees 

Для нейронных сетей мы имеем универсальную теорему аппроксимации, которая утверждает, что нейронные сети могут аппроксимировать любую непрерывную функцию на компактном подмножестве .рNрNR^n Есть ли аналогичный результат для деревьев с градиентным усилением? Это кажется разумным, так как вы можете продолжать добавлять больше веток, но я не могу найти никакого официального обсуждения …

14 decision-trees 

У меня есть два вопроса, связанных с деревьями решений: Если у нас есть непрерывный атрибут, как мы выбираем значение разделения? Пример: возраст = (20,29,50,40 ....) Представьте себе , что мы имеем непрерывный атрибут , которые имеют значение в . Как я могу написать алгоритм, который находит точку разделения , чтобы …

14 classification  data  decision-trees 

Выпуск 1: Меня смущает описание LightGBM относительно способа расширения дерева. Они заявляют: Большинство алгоритмов обучения дерева решений растут по дереву по уровню (глубине), как показано на следующем рисунке: Вопросы 1 : Какие «большинство» алгоритмов реализованы таким образом? Насколько я знаю, C4.5 и CART используют DFS. XGBoost использует BFS. Какие другие …

14 decision-trees  xgboost 

Если я тренирую свою модель, используя следующий код: import xgboost as xg params = {'max_depth':3, 'min_child_weight':10, 'learning_rate':0.3, 'subsample':0.5, 'colsample_bytree':0.6, 'obj':'reg:linear', 'n_estimators':1000, 'eta':0.3} features = df[feature_columns] target = df[target_columns] dmatrix = xg.DMatrix(features.values, target.values, feature_names=features.columns.values) clf = xg.train(params, dmatrix) это заканчивается примерно через 1 минуту. Если я тренирую свою модель, используя метод …

13 machine-learning  python  decision-trees  xgboost  efficiency 

У меня есть набор данных, который имеет атрибут бинарного класса. Имеется 623 случая с классом +1 (рак положительный) и 101 671 случай с классом -1 (рак отрицательный). Я пробовал различные алгоритмы (Наивный Байес, Случайный лес, AODE, C4.5), и все они имеют недопустимые ложноотрицательные отношения. Случайный лес имеет наивысшую общую точность …

11 classification  random-forest  decision-trees  unbalanced-classes 

Предположим, у меня есть гладкая функция типа е( х , у) = х2+ у2е(Икс,Y)знак равноИкс2+Y2f(x, y) = x^2+y^2 . У меня есть тренировочный набор и, конечно, я не знаю f, хотя я могу оценить f где угодно.D ⊊ { ( ( х , у) , ф(х , у) ) |( …

11 predictive-modeling  regression  decision-trees 

У меня есть набор данных с 20000 сэмплами, каждый имеет 12 различных функций. Каждая выборка относится к категории 0 или 1. Я хочу обучить нейронную сеть и лес решений для классификации выборок, чтобы можно было сравнить результаты и оба метода. Первое, на что я наткнулся, это правильная нормализация данных. Одна …

10 neural-network  decision-trees  normalization