Какие классификаторы машинного обучения являются наиболее распараллеливаемыми?

Какие классификаторы машинного обучения являются наиболее распараллеливаемыми? Если бы у вас была трудная проблема классификации, ограниченное время, но приличная сеть компьютеров для работы, с какими классификаторами вы бы попробовали?

С моей стороны это выглядит как некоторые стандартные классификаторы, которые я знаю о стеке, как показано ниже, но я могу быть совершенно неправ:

Случайные леса - очень распараллеливаемые, пока каждая машина может хранить все данные (т.е. не может делить обучающие данные как таковые, но в противном случае распараллеливается).

Повышение -?

Машина опорных векторов - не очень распараллеливаемая.

Деревья решений - могут быть разделены частично, но не очень эффективно.

Были предприняты попытки распараллелить большинство известных классификаторов, включая повышение [ документ ], SVM [ документ ] и даже деревья решений [ документ ]. Конечно, допуская параллелизм, вы иногда теряете в других аспектах, будь то реализуемость алгоритма, сложность выборки или другие обычные подозрения.

С точки зрения теории, вопрос сложнее, потому что, когда вы говорите об обучении, вы должны думать о целевой функции. Например, мы даже не знаем, что деревья решений могут быть изучены PAC, поэтому, если целью (а также методом) является дерево решений, то мы даже не можем изучить его (пока) без введения дополнительных аспектов в проблема. Повышение обходит это, предполагая слабые условия обучения, SVM запас и т.д. Я думаю, что эти предположения переносятся в параллельный случай, чтобы дать вам обучение PAC.

Но, как всегда, существует большой разрыв между границами (и, следовательно, проблемами) теории и практики. Например, на практике имеет значение, является ли параллелизм над ядрами или кластерами. Один алгоритм, разработанный специально для практического использования в установках с большими данными, - это VW , и он начинает поддерживать параллелизм. Возможно, вас заинтересуют материалы практического параллельного обучения на семинаре NIPS 2010 .