У меня есть вопросы, вдохновленные недавним скандалом с новобранцами Амазонки, где их обвинили в дискриминации в отношении женщин в процессе найма. Больше информации здесь :
Специалисты по машинному обучению Amazon.com Inc обнаружили большую проблему: их новый рекрутинговый движок не любил женщин.
Команда создавала компьютерные программы с 2014 года для анализа резюме соискателей с целью механизации поиска лучших талантов ...
... Экспериментальный инструмент найма компании использовал искусственный интеллект, чтобы дать кандидатам на работу баллы от одной до пяти звезд. ...
... Но к 2015 году компания осознала, что в ее новой системе нет рейтинга кандидатов на должности разработчиков программного обеспечения и других технических должностей с учетом гендерных факторов.
Это связано с тем, что компьютерные модели Amazon были обучены проверять кандидатов, наблюдая за моделями резюме, представленных компании в течение 10-летнего периода. Большинство пришло от мужчин, что является отражением мужского доминирования в сфере технологий. (Информацию о разбивке по полу в области технологий см. Здесь ). По сути, система Amazon научила себя тому, что кандидаты-мужчины предпочтительнее. Это наказывало резюме, которые включали слово «женский», как в «капитан женского шахматного клуба». И это понизило выпускников двух женских колледжей, по словам людей, знакомых с этим вопросом. Они не указали названия школ.
Amazon отредактировал программы, чтобы сделать их нейтральными к этим конкретным условиям. Но это не гарантия того, что машины не разработают другие способы сортировки кандидатов, которые могут оказаться дискриминационными, сказали люди.
Компания в Сиэтле в конечном итоге распустила команду к началу прошлого года, потому что руководители потеряли надежду на проект ...
... Эксперимент компании ... предлагает конкретный пример ограничений машинного обучения.
... компьютерные ученые, такие как Нихар Шах, который преподает машинное обучение в Университете Карнеги-Меллона, говорят, что предстоит еще много работы.
«Как убедиться, что алгоритм справедлив, как убедиться, что алгоритм действительно интерпретируемый и объяснимый - это еще далеко», - сказал он.MASCULINE LANGUAGE
[Amazon] создал команду в эдинбургском инженерном центре Amazon, которая выросла до десятка человек. Их цель состояла в том, чтобы разработать ИИ, который мог бы быстро сканировать сеть и находить кандидатов, достойных вербовки, сказали люди, знакомые с этим вопросом.
Группа создала 500 компьютерных моделей, ориентированных на конкретные рабочие места и места работы. Они научили каждого распознавать около 50 000 терминов, которые фигурировали в резюме кандидатов. Алгоритмы научились придавать мало значения навыкам, которые были общими у ИТ-кандидатов, например, умение писать различные компьютерные коды ...
Вместо этого технология отдавала предпочтение кандидатам, которые описывали себя, используя глаголы, чаще встречающиеся в резюме мужчин-инженеров, такие как «казнен» и «захвачен», - сказал один человек.
Допустим, я хочу построить статистическую модель для прогнозирования некоторого вывода из личных данных, например, пятизвездочный рейтинг, чтобы помочь в наборе новых людей. Допустим, я также хочу избежать дискриминации по признаку пола, как этического ограничения. Учитывая два строго равных профиля, кроме пола, выходные данные модели должны быть одинаковыми.
Должен ли я использовать пол (или любые связанные с ним данные) в качестве входных данных и пытаться исправить их влияние или избегать использования этих данных?
Как я могу проверить отсутствие дискриминации по признаку пола?
Как я могу исправить свою модель для данных, которые являются статистически дискриминационными, но я не хочу быть по этическим причинам?