Выбор параметров для генетического алгоритма

Как можно выбрать правильное количество параметров для генетического алгоритма для моделирования данной системы?

Например, скажем, вы хотите оптимизировать производство автомобилей, и у вас есть 1000 измерений почасовой эффективности для различных задач для каждого из 1000 различных сотрудников. Итак, у вас есть 1 000 000 точек данных. Большинство из них, вероятно, будут слабо коррелировать с общей эффективностью вашего предприятия, но не настолько слабо, чтобы вы могли сказать, что они не имеют отношения к статистической достоверности. Как вы выбираете входные данные для своего GA, чтобы у вас не было более 1 000 000 степеней свободы, что приводило к очень медленной конвергенции или ее отсутствию вообще?

В частности, какие алгоритмы можно использовать для предварительного выбора или выборочного устранения признаков?

Один подход , который я использовал себя в этом сценарии эволюционировать выбор параметров сам, так что я мог бы иметь родителей , как {a,b,c}, {b,d,e,q,x,y,z}и так далее. Затем я бы мутировал детей, чтобы добавлять или удалять функции. Это хорошо работает для нескольких десятков функций. Но проблема в том, что это неэффективно, если существует большое количество степеней свободы. В этом случае вы смотрите на 10^nкомбинации (в приведенном выше примере 10^1,000,000), что делает некоторую предварительную фильтрацию функций критически важной для получения какой-либо полезной производительности.

Прежде всего - пример не подходит, потому что вы, вероятно, использовали бы некоторые регрессионные или классические методы ML для решения этой проблемы. Во-вторых, вы имеете в виду общую проблему выбора признаков (Kira, Rendell, 1992) или выбора атрибутов (Hall, Holmes, 2003) или выбора переменных (Guyon, Elisseeff, 2003) или выбора поднабора переменных (Stecking, Schebesch, 2005). или извлечение признаков (Hillion, Masson, Roux, 1988) или уменьшение размерности (Roweis, Saul, 200) или абстракция состояний (Amarel, 1968), Эта проблема актуальна не только для генетических алгоритмов, но и почти для всех методов машинного обучения при работе с данными большого размера.

Здесь можно выделить три случая: последний случай этой проблемы, известный как абстракция состояния, обычно связан с моделированием процесса (что подходит вашему примеру, но не контексту GA). Первые три, то есть выбор функции , выбор атрибута или переменный выбор , как представляется, наиболее актуален при приеме на ваш вопрос буквально. В этом контексте общим решением является подход mRMR (Peng, Long, Ding, 2005) . Из моего опыта это не всегда хорошо работает с непрерывными данными - однако, взаимная информация может быть заменена другими коэффициентами, такими как, например, корреляция. Другой возможный подход заключается в использовании перекрестной проверки (Picard, Cook, 1984)за это. Вы можете иметь несколько моделей, каждая из которых использует различные функции, и с помощью выбора модели с методами перекрестной проверки вы выбираете лучшую модель, которая дает вам информацию о том, какие функции лучше всего подходят для данной задачи.

В извлечении признаков и сокращения размерных случаев позволяют не только выбрать начальные функции, но и их комбинацию. Хорошо известным примером решения для этого случая является алгоритм PCA (Pearson, 1901) , который дает оптимальный, с точки зрения объясненной дисперсии, набор признаков, представляющих собой линейные комбинации входных объектов.

Также обратите внимание, что существует много моделей, которые самостоятельно выполняют задачу извлечения объектов. Вот некоторые примеры: Растущая сеть нейронных газов (Fritzke, 1995) , LASSO (Tibshirani, 2011) , RFE SVM (Zeng, Chen, Tao, 2009) , Деревья решений (Quinlan, 1986) .

Ссылки:

• Кенджи Кира и Ларри А. Ренделл. 1992. Практический подход к выбору функций. В материалах девятого международного семинара по машинному обучению (ML92), Дерек Слиман и Питер Эдвардс (ред.). Morgan Kaufmann Publishers Inc., Сан-Франциско, Калифорния, США, 249-256.

• Холл, Массачусетс; Холмс Г., «Сравнительный метод выбора атрибутов для извлечения данных из дискретных классов», «Знания и инженерия данных», IEEE транзакции, том 15, № 6, с. 2003

• Изабель Гийон и Андре Елисеев. 2003. Введение в выбор переменных и функций. J. Mach. Учить. Местожительство 3 (март 2003 г.), 1157-1182.

• Ральф Стекинг, Клаус Б. Шебеш. 2005. Выбор подмножества переменных для кредитного скоринга с помощью машин опорных векторов, Материалы исследования операций 2005, Springer Berlin Heidelberg, (2005), с. 251-256.

• Хиллион, А .; Masson, P .; Ру, C., «Непараметрический подход к извлечению линейных объектов; применение к классификации бинарных синтетических текстур», Pattern Recognition, 1988. 9-я Международная конференция, том, № 10, с. 1036, 1039, том 2, 14. -17 ноября 1988 г.

• Нелинейное уменьшение размерности за счет локально линейного вложения. Сэм Роуис и Лоуренс Сол. Science, т.290, №500, 22 декабря 2000 г., с.2323-2326.

• Amarel S. (1968). О представлениях проблем рассуждения о действиях, Machine Intelligence, (3), 131--171

• Пэн, Х .; Фулми Лонг; Дин, C., «Выбор функций на основе взаимных информационных критериев максимальной зависимости, максимальной релевантности и минимальной избыточности», «Анализ шаблонов и машинный интеллект», «Транзакции IEEE», том 27, № 8, с.1226, 1238, август 2005

• Ричард Р. Пикард и Р. Деннис Кук, журнал Американской статистической ассоциации Vol. 79, No. 387 (Sep., 1984), pp. 575-583.

• О прямых и плоскостях, наиболее близких к системам точек в пространстве. Philosophical Magazine, Vol. 2, № 6. (1901), с. 559-572 К. Пирсона

• Растущая сеть нейронных газов изучает топологии, Бернд Фрицке, Конференция: Системы обработки нейронной информации - NIPS, с. 625-632, 1994

• Регрессивная усадка и отбор с помощью лассо: ретроспектива, Роберт Тибширани, Журнал Королевского статистического общества, Серия B, 2011, том. 73, выпуск 3, стр. 273-282

• Сянъян Цзэн; Йен-вэй чен; Caixia Tao; Ван Альфен, Д., "Выбор функций с использованием рекурсивного исключения функций для распознавания рукописных цифр", Интеллектуальное сокрытие информации и обработка мультимедийных сигналов, 2009. IIH-MSP '09. Пятая международная конференция, том, № 1, с. 1205, 1208, 12-14 сентября 2009 г.

• JR Quinlan. 1986. Индукция деревьев решений. Мах. Учить. 1, 1 (март 1986 г.), 81-106.

Я никогда не делал этого раньше и, очевидно, не имею доступа к указанным данным, но потенциально хорошим способом сделать это была бы кластеризация . Для каждого сотрудника у нас есть n-мерный вектор, где каждое измерение соответствует отдельной задаче. Затем мы можем использовать кластеризацию для группировки «похожих» сотрудников; однако это будет зависеть исключительно от ваших данных, т. е. вполне возможно, что с учетом только 1000 сотрудников кластеризация приведет к группам сотрудников, которые на самом деле не так уж связаны, и поэтому, хотя мы можем сократить численность населения, это может быть за счет потери информации.