В бустинге слабые или нестабильные классификаторы используются в качестве базовых учеников. Это так, потому что цель состоит в том, чтобы создать границы решений, которые значительно отличаются. Тогда хорошим базовым учеником является тот, кто сильно предвзят, другими словами, результат остается в основном таким же, даже когда параметры обучения для базовых учеников изменяются незначительно.
В нейронных сетях отсев - это метод регуляризации, который можно сравнить с обучающими ансамблями. Разница в том, что ансамблирование выполняется в скрытом пространстве (существуют нейроны или нет), что уменьшает ошибку обобщения.
«Каждый учебный пример таким образом , может рассматриваться как обеспечение градиентов для различной, произвольно отобранного архитектуры, так что конечная нейронная сеть эффективно представляет собой огромный ансамбль нейронных сетей, с возможностью хорошего обобщения» - цитирует здесь .
Существует два таких метода: при отбрасывании нейроны сбрасываются (имеется в виду, что нейроны существуют или не существуют с определенной вероятностью), тогда как при сбрасывании соединения сбрасываются веса.
Теперь, чтобы ответить на ваш вопрос, я полагаю, что нейронные сети (или персептроны) не используются в качестве базовых учащихся в ускоряющих настройках, поскольку они медленнее обучаются (просто занимает слишком много времени), а учащиеся не такие слабые, хотя они могли бы быть настроен быть более нестабильным. Таким образом, это не стоит усилий.
Возможно, были исследования по этой теме, но жаль, что идеи, которые не работают, обычно не публикуются успешно. Нам нужно больше исследований, охватывающих пути, которые никуда не ведут, иначе говоря «не пытайтесь это делать».
РЕДАКТИРОВАТЬ:
У меня было немного больше об этом, и если вы заинтересованы в ансамблях больших сетей, то вы могли бы обратиться к методам объединения выходов нескольких таких сетей. Большинство людей усредняют или используют большинство голосов в зависимости от задачи - это может быть не оптимальным. Я полагаю, что должна быть возможность изменить вес для каждой выходной сети в соответствии с ошибкой в конкретной записи. Чем меньше коррелирует выходы, тем лучше правило ансамбля.