Как выбрать между алгоритмами обучения

21

Мне нужно реализовать программу, которая будет классифицировать записи на 2 категории (истина / ложь) на основе некоторых обучающих данных, и мне было интересно, какой алгоритм / методология мне следует рассмотреть. Кажется, из них есть из чего выбирать - искусственная нейронная сеть, генетический алгоритм, машинное обучение, байесовская оптимизация и т. Д. И т. Д., И я не был уверен, с чего начать. Итак, мои вопросы: как выбрать алгоритм обучения, который я должен использовать для своей задачи?

Если это поможет, вот проблема, которую мне нужно решить.

Данные обучения. Данные
обучения состоят из множества строк, таких как:

Precursor1, Precursor2, Boolean (true/false)

За прогон
мне дадут кучу прекурсоров.
Потом,

Я выбираю алгоритм A из разных алгоритмов (или динамически генерирую алгоритм) и применяю его к каждой возможной комбинации этих предшественников и собираю «записи», которые испускаются. «Запись» состоит из нескольких пар ключ-значение *.
Я применяю какой-то потрясающий алгоритм и классифицирую эти записи по двум категориям (true / false).
Я сгенерирую таблицу того же формата, что и данные поезда:
Precursor1, Precursor2, Boolean

И вся программа оценивается исходя из того, сколько правдивых / ложных я получил.

*: «Записи» будут выглядеть так (надеюсь, это имеет смысл)

Record         [1...*] Score
-Precursor1             -Key
-Precursor2             -Value

Есть только конечное количество возможных ключей. Записи содержат различное подмножество этих ключей (некоторые записи имеют ключ1, ключ2, ключ3 ... другие записи имеют ключ3, ключ4 ... и т. Д.).

Мне на самом деле нужно 2 обучения. Один для шага 1. Мне нужен модуль, который просматривает пары прекурсоров и т. Д. И решает, какой алгоритм применить, чтобы создать запись для сравнения. Другой для шага 2. Мне нужен модуль, который анализирует коллекцию записей и классифицирует их на 2 категории (true / false).

Заранее спасибо!

— Энно Сиоджи
источник

16

Существует пакет для « R », который называется « карета », что означает «классификация и регрессионное тестирование». Я думаю, что это было бы хорошим началом для вас, так как это позволит вам легко применить дюжину или около того различных алгоритмов обучения к вашим данным, а затем перекрестно проверить их, чтобы оценить, насколько точны они все.

Вот пример, который вы можете изменить своими собственными данными / другими методами:

install.packages('caret',dependencies = c('Depends','Suggests'))
library(caret)

set.seed(999)
Precursor1 <- runif(25)
Precursor2 <- runif(25)
Target <- sample(c('T','F'),25,replace=TRUE)
MyData <- data.frame(Precursor1,Precursor2,Target)
str(MyData)

#Try Logistic regression
model_Logistic <- train(Target~Precursor1+Precursor2,data=MyData,method='glm')

#Try Neural Network
model_NN <- train(Target~Precursor1+Precursor2,data=MyData,method='nnet',trace=FALSE)

#Try Naive Bayes
model_NB <- train(Target~Precursor1+Precursor2,data=MyData,method='nb')

#Try Random Forest
model_RF <- train(Target~Precursor1+Precursor2,data=MyData,method='rf')

#Try Support Vector Machine
model_SVM<- train(Target~Precursor1+Precursor2,data=MyData,method='svmLinear')

#Try Nearest Neighbors
model_KNN<- train(Target~Precursor1+Precursor2,data=MyData,method='knn')

#Compare the accuracy of each model
cat('Logistic:',max(model_Logistic$results$Accuracy))
cat('Neural:',max(model_NN$results$Accuracy))
cat('Bayes:',max(model_NB$results$Accuracy))
cat('Random Forest:',max(model_RF$results$Accuracy))
cat('Support Vector Machine:',max(model_SVM$results$Accuracy))
cat('Nearest Neighbors:',max(model_KNN$results$Accuracy))

#Look at other available methods
?train

Другая идея состоит в том, чтобы разбить ваши данные на обучающий набор и тестовый набор, а затем сравнить, как каждая модель работает в тестовом наборе. Если хотите, я могу показать вам, как это сделать.

— Zach
источник

8

$T$ $X$ $Y$ $I$

$Y$

P (Y | T, X, I)

$P(Y|T,X,I)$

Теперь мы можем использовать любое из правил теории вероятностей, чтобы превратить это в вещи, которые мы умеем вычислять. Таким образом, используя теорему Байеса, вы получите:

P (Y | T, X, I) = \frac{P (Y | T, I) P (X | Y, T, I)}{P (X | T, I)}

$P(Y|T,X,I)=\frac{P(Y|T,I)P(X|Y,T,I)}{P(X|T,I)}$

$P(Y|T,I)$ $Y$ $Y$

$P(X|Y,T,I)$ $P(X|T,I)$ $Y$ $\overline{Y}$ $Y$

O (Y | T, X, I) = \frac{P (Y | T, X, I)}{P (\bar{Y} | T, X, I)} = \frac{P (Y | T, I)}{P (\bar{Y} | T, I)} \frac{P (X | Y, T, I)}{P (X | \bar{Y}, T, I)}

$O(Y|T,X,I)=\frac{P(Y|T,X,I)}{P(\overline{Y}|T,X,I)}=\frac{P(Y|T,I)}{P(\overline{Y}|T,I)}\frac{P(X|Y,T,I)}{P(X|\overline{Y},T,I)}$

$Y$

$P(X|Y,T,I)$ $\theta_{Y}$

P (X | Y, T, I) = \int P (X, θ_{Y} | Y, T, I) d θ = \int P (X | θ_{Y}, Y, T, I) P (θ_{Y} | Y, T, I) d θ_{Y}

$P(X|Y,T,I)=\int P(X,\theta_{Y}|Y,T,I) d\theta = \int P(X|\theta_{Y},Y,T,I)P(\theta_{Y}|Y,T,I) d\theta_{Y}$

$P(X|\theta_{Y},Y,T,I)=P(X|\theta_{Y},Y,I)$ $T$ $P(\theta_{Y}|Y,T,I)$ является задним распределением для параметров в модели - это та часть, которую будут определять данные обучения. И это, вероятно, где большая часть работы будет идти.

$\theta_{Y}$ $M_i$ $\theta^{(i)}_{Y}$

P (X | Y, T, I) = \sum_{i} P (M_{i} | Y, T, I) \int P (X | θ_{Y}^{(i)}, M_{i}, Y, T, I) P (θ_{Y}^{(i)} | M_{i}, Y, T, I) d θ_{Y}^{(i)}

$P(X|Y,T,I)= \sum_{i}P(M_{i}|Y,T,I)\int P(X|\theta_{Y}^{(i)},M_{i},Y,T,I)P(\theta_{Y}^{(i)}|M_{i},Y,T,I) d\theta_{Y}^{(i)}$

P (M_{i} | Y, T, I) = P (M_{i} | Y, I) \int P (θ_{Y}^{(i)} | M_{i}, Y, I) P (T | θ_{Y}^{(i)}, M_{i}, Y, I) d θ_{Y}^{(i)}

$P(M_{i}|Y,T,I)=P(M_{i}|Y,I)\int P(\theta_{Y}^{(i)}|M_{i},Y,I)P(T|\theta_{Y}^{(i)},M_{i},Y,I) d\theta_{Y}^{(i)}$

(NOTE: $M_i$ is a proposition of the form "the ith model is the best in the set that is being considered". and no improper priors allowed if you are integrating over models - the infinities do not cancel out in this case, and you will be left with non-sense)

Now, up to this point, all results are exact and optimal (this is the option 2 - apply some awesome algorithm to the data). But this a daunting task to undertake. In the real world, the mathematics required may be not feasible to do in practice - so you will have to compromise. you should always "have a go" at doing the exact equations, for any maths that you can simplify will save you time at the PC. However, this first step is important, because this sets "the target", and it makes it clear what is to be done. Otherwise you are left (as you seem to be) with a whole host of potential options with nothing to choose between them.

Now at this stage, we are still in "symbolic logic" world, where nothing really makes sense. So you need to link these to your specific problem:

$P(M_{i}|Y,I)$ is the prior probability for the ith model - generally will be equal for all i.
$P(\theta_{Y}^{(i)}|M_{i},Y,I)$ is the prior for the parameters in the ith model (must be proper!)
$P(T|\theta_{Y}^{(i)},M_{i},Y,I)$ is the likelihood function for the training data, given the ith model
$P(\theta_{Y}^{(i)}|T,M_{i},Y,I)$ is the posterior for the parameters in the ith model, conditional on the training data.
$P(M_{i}|Y,T,I)$ is the posterior for the ith model conditional on the training data

There will be another set of equations for $\overline{Y}$

Note that the equations will simplify enormously if a) one model is a clear winner, so that $P(M_{j}|Y,T,I)\approx 1$ and b) within this model, its parameters are very accurate, so the integrand resembles a delta function (and integration is very close to substitution or plug-in estimates). If both these conditions are met you have:

P (X | Y, T, I) \approx P (X | θ_{Y}^{(j)}, M_{j}, Y, T, I)_{θ_{Y}^{(j)} = {\hat{θ}}_{Y}^{(j)}}

$P(X|Y,T,I)\approx P(X|\theta_{Y}^{(j)},M_{j},Y,T,I)_{\theta_{Y}^{(j)}=\hat{\theta}_{Y}^{(j)}}$

Which is the "standard" approach to this kind of problem.

— probabilityislogic
источник