Как избежать социальной дискриминации в построении моделей


10

У меня есть вопросы, вдохновленные недавним скандалом с новобранцами Амазонки, где их обвинили в дискриминации в отношении женщин в процессе найма. Больше информации здесь :

Специалисты по машинному обучению Amazon.com Inc обнаружили большую проблему: их новый рекрутинговый движок не любил женщин.
Команда создавала компьютерные программы с 2014 года для анализа резюме соискателей с целью механизации поиска лучших талантов ...
... Экспериментальный инструмент найма компании использовал искусственный интеллект, чтобы дать кандидатам на работу баллы от одной до пяти звезд. ...
... Но к 2015 году компания осознала, что в ее новой системе нет рейтинга кандидатов на должности разработчиков программного обеспечения и других технических должностей с учетом гендерных факторов.
Это связано с тем, что компьютерные модели Amazon были обучены проверять кандидатов, наблюдая за моделями резюме, представленных компании в течение 10-летнего периода. Большинство пришло от мужчин, что является отражением мужского доминирования в сфере технологий. (Информацию о разбивке по полу в области технологий см. Здесь ). По сути, система Amazon научила себя тому, что кандидаты-мужчины предпочтительнее. Это наказывало резюме, которые включали слово «женский», как в «капитан женского шахматного клуба». И это понизило выпускников двух женских колледжей, по словам людей, знакомых с этим вопросом. Они не указали названия школ.
Amazon отредактировал программы, чтобы сделать их нейтральными к этим конкретным условиям. Но это не гарантия того, что машины не разработают другие способы сортировки кандидатов, которые могут оказаться дискриминационными, сказали люди.
Компания в Сиэтле в конечном итоге распустила команду к началу прошлого года, потому что руководители потеряли надежду на проект ...
... Эксперимент компании ... предлагает конкретный пример ограничений машинного обучения.
... компьютерные ученые, такие как Нихар Шах, который преподает машинное обучение в Университете Карнеги-Меллона, говорят, что предстоит еще много работы.
«Как убедиться, что алгоритм справедлив, как убедиться, что алгоритм действительно интерпретируемый и объяснимый - это еще далеко», - сказал он.

MASCULINE LANGUAGE
[Amazon] создал команду в эдинбургском инженерном центре Amazon, которая выросла до десятка человек. Их цель состояла в том, чтобы разработать ИИ, который мог бы быстро сканировать сеть и находить кандидатов, достойных вербовки, сказали люди, знакомые с этим вопросом.
Группа создала 500 компьютерных моделей, ориентированных на конкретные рабочие места и места работы. Они научили каждого распознавать около 50 000 терминов, которые фигурировали в резюме кандидатов. Алгоритмы научились придавать мало значения навыкам, которые были общими у ИТ-кандидатов, например, умение писать различные компьютерные коды ...
Вместо этого технология отдавала предпочтение кандидатам, которые описывали себя, используя глаголы, чаще встречающиеся в резюме мужчин-инженеров, такие как «казнен» и «захвачен», - сказал один человек.

Допустим, я хочу построить статистическую модель для прогнозирования некоторого вывода из личных данных, например, пятизвездочный рейтинг, чтобы помочь в наборе новых людей. Допустим, я также хочу избежать дискриминации по признаку пола, как этического ограничения. Учитывая два строго равных профиля, кроме пола, выходные данные модели должны быть одинаковыми.

  1. Должен ли я использовать пол (или любые связанные с ним данные) в качестве входных данных и пытаться исправить их влияние или избегать использования этих данных?

  2. Как я могу проверить отсутствие дискриминации по признаку пола?

  3. Как я могу исправить свою модель для данных, которые являются статистически дискриминационными, но я не хочу быть по этическим причинам?


1
Я думаю, что ссылка на статью о предполагаемом кадровом скандале Amazon была бы важна для ответа на ваш вопрос. Некоторые могут возразить, что вообще не было никакой «дискриминации» (в зависимости от того, как определен этот термин), кроме простого дисбаланса между нанятыми мужчинами и женщинами, поэтому, возможно, предоставьте свое определение «дискриминации».
StatsStudent

1
Как насчет того, что канонический ответ здесь невозможен? Вы можете обратиться к этому? Я рассматриваю повторное закрытие.
gung - Восстановить Монику

3
«отсутствие влияния пола на результаты модели» - я не понимаю, почему это хорошее определение. Предположим, что у вас нет функции, называемой полом, в модели, чего, вероятно, в любом случае нет. Затем модель «выясняет», глядя на других приписываемых, что это женщина, и понижает, потому что женщина менее пригодна для работы, чем что? Есть много рабочих мест, где женщины были бы плохо приспособлены, например, морские пехотинцы. Это не значит, что вы не можете найти женщину, которая была бы великолепна, но большинство из них не подходит.
Аксакал

2
@Lcrmorin, почему только физический? Как вы думаете, почему программист лучше всего подходит как для женщин, так и для мужчин? Я не вижу очевидной причины. Я подозрительна, потому что речь идет только о высокооплачиваемой работе. Например, мужчин больше сажают в тюрьму, почему бы не добиться того, чтобы женщин сажали в тюрьму с такой же скоростью? Хорошее определение того, что представляет собой дискриминация, имеет первостепенное значение
Аксакал

1
Я думаю , что это охватывается ни прикладной статистики курс в социальных науках , пытающихся определить причинно - следственные связи ... Определение опущена смещения переменной и т.д., «управления для фактора X» и т.д.
seanv507

Ответы:


4

В этой статье представлен отличный обзор того, как ориентироваться на гендерную предвзятость, особенно в языковых моделях: мужчина - программист, а женщина - домохозяйка? Дебайзинг Word Embeddings - Bolukbasi et. и др. , Хорошее резюме блога можно найти здесь:

https://developers.googleblog.com/2018/04/text-embedding-models-contain-bias.html

Вы найдете большой список ресурсов здесь:

https://developers.google.com/machine-learning/fairness-overview/

Вы найдете множество методов в приведенных выше ссылках, чтобы уменьшить гендерный уклон. Вообще говоря, они делятся на три класса:

1) Under / Over выборки ваших данных. Это предназначено для пересмотра высококачественных женских резюме и для мужских резюме.

2) Вычитание «гендерного подпространства». Если ваша модель смещена по половому признаку, то вы можете продемонстрировать, что это так, используя вложения для непосредственного прогнозирования пола. После построения такой вспомогательной модели (даже просто отбирая общие термины, принадлежащие к любому полу, а затем применяя PCA), вы можете фактически вычесть это измерение из модели, нормализовав резюме, чтобы оно было нейтральным по отношению к полу. Это основная техника, используемая в работе Болукбаси.

3) состязательное обучение. В этом случае вы пытаетесь создать дополнительные данные, пытаясь сгенерировать больше версий высококачественных женских резюме, которые иначе неотличимы от реальных резюме.


1
Здесь не обижайся, но чего-то не хватает. Это лечит симптомы, игнорируя болезнь? Является ли решение для языка ПК решением вообще или это проблема сама по себе? Язык - не основной источник чувств, а лишь средство их выражения. Чувства - это реакции на ситуации. Исправьте ситуации, а не пишите их языком.
Карл

@Carl: Если набор данных уже прогнил с предвзятостью, это очень трудно исправить. Политкорректность - это попытка смягчить предвзятость. В случае ML мы руководствуемся моделью от смещения ее прогнозов на основе пола до тех, которые основаны исключительно на навыках. В противном случае такая модель, скорее всего, будет наказывать женщин и назначать совершенно разные оценки их навыкам в каждой профессии. Прочтите ответ Дэйва Харриса о дополнительных способах возникновения предвзятости и о том, как исправить их с помощью физических изменений (в отличие от изменений данных)
Алекс Р.

Я прокомментировал ответ Дейва, поэтому ваше предложение показывает, что вы пропустили это. Вы также можете упустить момент, что получить работу, которую вы ненавидите, - это проблема. Исправьте проблему с удержанием и рабочую среду. Делать женщин более «привлекательными» ничего не решает, это может усугубить проблемы. Что касается работы, проблема заключается не в том, чтобы «жениться» на ней, а в том, чтобы «остаться замужем».
Карл

@Carl: Я не уверен, о чем вы здесь спорите, так как вопрос ОП явно задает вопрос о том, как построить статистическую модель на основе существующего набора данных. Ссылки, которые я привел, показывают, что языковые модели из коробки уже могут содержать скрытые ошибки. С таким же успехом я могу утверждать, что люди, которые держат свою работу достаточно долго, вероятно, слишком посредственны, чтобы найти работу в другом месте. Независимо от того, какой KPI вы оптимизируете (это актуальная, но совершенно отдельная тема), ваша модель может по-прежнему демонстрировать гендерную тенденцию.
Алекс Р.

1
Согласовано. Вы ответили на вопрос. Тем не менее, удержание женщин на технических должностях оставляет желать лучшего, и вы не определили проблемы. Таким образом, ответ является плохой услугой для женщин. При использовании это приведет к несчастью. Статистики несут моральную ответственность за то, чтобы видеть свою работу в контексте и определять вопросы, которые более уместны, чем наивные.
Карл

9

Это не ответ на ваш вопрос, а всего лишь несколько мыслей, которые слишком длинны, чтобы вписаться в комментарий.

Я думаю, что одна проблема, которую мы должны учитывать, думая об этих проблемах, заключается в том, что каждая модель различает , и они будут делать это на основе любой ассоциации, представленной в данных. В этом, возможно, и заключается цель прогностической модели. Например, мужчины действительно более склонны к совершению преступлений, чем женщины, поэтому почти любая модель, имеющая доступ к этой информации, сделает такой вывод.

Но это не значит, что мы должны осуждать кого-то частично по признаку пола, даже если мужчина, как правило, с большей вероятностью совершил преступление (при прочих равных). Скорее, мы должны требовать прямых доказательств преступления при принятии таких решений, а не информации о простой ассоциации. В качестве другого примера: действительно ли люди, которые чаще болеют, заслуживают того, чтобы платить более высокие страховые взносы?

Поэтому, когда дело доходит до дискриминации, я бы сказал, что проблема в большей степени связана с этическим применением , а не с несправедливостью самих моделей. Если мы обеспокоены сохранением дискриминации или других несправедливых результатов при использовании модели в данной ситуации, то, возможно, нам не следует использовать модель.


2
Я бы поспорил с вашим последним предложением, что модель, созданная для того, чтобы избежать социальной дискриминации, будет работать лучше в этом вопросе, чем человек, но я здесь не для этого. Я отредактирую свой пост с лучшим определением социальной дискриминации.
lcrmorin

Я не думаю, что наша судебная система намерена больше наказывать мужчин, но это так. То же самое относится и к этому гипотетическому алгоритму Амазонки. Я сомневаюсь, что они хотели дискриминировать женщин, но алгоритм узнал, что женщины в любом случае менее подходят и дискриминируют.
Аксакал

Вы резко отошли от вопроса Ора по: Contrast дискриминации N 1: несправедливое отношение к человеку или группы на основе предрассудков 2: когнитивный процесс , при котором два или более раздражителях отличающиеся. [WordNet]. ОП спрашивает о первом определении, а вы отвечаете о втором.
Алексис

@Alexis На самом деле мне не ясно, что OP говорит только о первом определении. В цитате: «Как мне исправить мою модель для данных, которые являются статистически дискриминационными, но я не хочу быть по этическим причинам?» Казалось бы, это подразумевает, что они хотят иметь дело с вещами, которые статистически различаются по полу, даже если они не являются чертами, которые несправедливы в использовании. Кстати, также нет четкого различия между двумя понятиями дискриминации. То, что некоторые люди считают справедливым, другие считают несправедливым.
Eff

Существуют важные различия в отношении пола как с точки зрения количества обращающихся, так и с точки зрения профиля. Моя цель - обеспечить равное отношение к двум людям с одинаковым профилем, но не одного пола.
lcrmorin

6

Я работал над проектом по разработке лучших практик управления программным обеспечением. Я наблюдал около пятидесяти команд разработчиков программного обеспечения на местах. Наш выбор был около 77, но в итоге мы увидели около ста команд. Помимо сбора данных о таких вещах, как сертификаты, степени и т. Д., Мы также собрали различные психологические и демографические данные.

В командах разработчиков программного обеспечения есть несколько очень значительных эффектов самоотбора, которые, хотя и не имеют ничего общего с полом, тесно связаны с полом. Кроме того, менеджеры имеют тенденцию копировать себя. Люди нанимают людей, с которыми им комфортно, и им наиболее комфортно с самим собой. Существует также доказательство того, что люди оцениваются когнитивно предвзятым образом. Представьте себе, что я, как менеджер, высоко ценю быстрое прибытие в начале работы. Я буду тогда оценивать это. Другой менеджер, который просто заботится о том, чтобы работа была выполнена, может оценить что-то совершенно другое как важное.

Вы отметили, что мужчины используют язык по-разному, но верно и то, что люди с разными личностями используют язык по-разному. Также могут быть различия в использовании этнического языка, см., Например, текущую полемику в Гарварде и приеме в Азии.

Теперь вы предполагаете, что компании-разработчики программного обеспечения дискриминируют женщин, но в индустрии разработки программного обеспечения существует другая форма дискриминации по признаку пола, которую вы не учли. Когда вы контролируете для объективных вещей, таких как сертификаты, степени, срок пребывания и т. Д., Средняя женщина зарабатывает на 40% больше, чем средний мужчина. В мире существует три источника дискриминации при трудоустройстве.

Во-первых, менеджеры или владельцы не хотят нанимать кого-либо на основании какой-либо функции. Во-вторых, коллеги не хотят работать с людьми с этой функцией. Третье - клиенты не хотят иметь людей, у которых есть особенность. Похоже, что дискриминация в заработной плате вызвана клиентами, потому что рабочий продукт отличается, и с точки зрения клиентов, также лучше. Эта же особенность заставляет мужчин-стоматологов получать более низкую заработную плату, чем женщины. Это также проявляется в предвзятости к «рожденным здесь» мировым футбольным ставкам.

Лучший контроль для этого - понять ваши данные и задействованные социальные силы. Любая фирма, которая использует свои собственные данные, будет стремиться копировать себя. Это может быть очень хорошей вещью, но это также может сделать их слепыми к силам на работе. Второй контроль - понять вашу целевую функцию. Прибыль может быть хорошей функцией, но может быть плохой функцией. Существуют значения в выборе целевой функции потери. Затем, наконец, возникает проблема проверки данных по демографическим данным, чтобы определить, происходит ли неудачная дискриминация.

Наконец, и это большая проблема в таких вещах, как ИИ, где вы не можете получить хорошую статистику интерпретации, вы захотите контролировать парадокс Йоля. Классическим историческим примером является открытие, что 44% мужчин были приняты в Калифорнийский университет в Беркли, в то время как только 35% женщин были приняты в 1973 году. Это была огромная разница и статистически значимая. Это также вводило в заблуждение.

Это было явно скандально, и поэтому университет решил посмотреть, какие из них были оскорбительными. Что ж, оказалось, что когда вы контролировали мажор, был статистически значимый уклон в пользу приема женщин. Из восьмидесяти пяти специальностей шесть были предвзяты по отношению к женщинам, а четыре - к мужчинам, остальные были незначительными. Разница заключалась в том, что женщины несоразмерно подавали заявки на наиболее конкурентоспособные специальности, и поэтому в них принимали участие лишь немногие представители обоих полов. Мужчины чаще обращались к менее конкурентоспособным специальностям.

Добавление в парадокс Йоля создает еще более глубокий слой для дискриминации. Представьте, что вместо гендерного теста был гендерный тест по типу работы. Вы могли бы пройти гендерно-нейтральный тест в масштабах компании, но потерпеть неудачу на уровне задач. Представьте, что для V & V были набраны только женщины, а для системного администрирования - только мужчины. Вы бы выглядели нейтрально с гендерной точки зрения и не были бы.

Одним из возможных решений этой проблемы является создание конкурентных ИИ, которые используют разные объективные критерии «добра». Цель состоит в том, чтобы расширить сеть, а не сузить ее. Это также может помочь избежать другой проблемы в литературе по управлению. В то время как 3% мужчин являются социопатами, это число существенно возрастает по мере того, как вы продвигаетесь вверх и вверх по корпоративной лестнице. Вы не хотите фильтровать социопатов.

Наконец, вы можете не захотеть использовать ИИ для определенных типов позиций. Я сейчас ищу работу. Я также уверен, что меня фильтруют, и я не понял, как обойти это. Я сижу на очень разрушительной новой технологии. Проблема в том, что моя работа не соответствует волшебным словам. Вместо этого у меня есть следующий набор волшебных слов. Прямо сейчас я стою целое состояние для правильной фирмы, но в одном случае, когда я подал заявку, я получил автоматическое снижение менее чем за минуту. У меня есть друг, который работал ИТ-директором федеральных агентств. Он подал заявку на работу, где менеджер по подбору персонала ждал, чтобы увидеть его заявление, так что ему в значительной степени предложили эту работу. Это никогда не проходило, потому что фильтры заблокировали это.

Это создает вторую проблему ИИ. Если я смогу разобраться с онлайн-резюме, которое Амазон нанимает, то я могу волшебным словом мое резюме. Действительно, я сейчас работаю над своим резюме, чтобы оно соответствовало нечеловеческим фильтрам. Я также могу сказать по электронной почте от рекрутеров, что некоторые части моего резюме увеличиваются, а другие игнорируются. Это как если бы процесс найма и найма был перенят программным обеспечением, таким как Prolog. Логические ограничения встретились? Да! Это оптимальный кандидат или набор кандидатов. Они оптимальны?

Там нет заранее подготовленного ответа на ваш вопрос, только проблемы для разработки вокруг.


(+1) Твердые наблюдения. Мне особенно нравится двусмысленность в отношении интерпретативной предвзятости результатов, и я бы только добавил, что следует определить цель социальной инженерии, которая является объектно-ориентированной, то есть некоторую ощутимую выгоду. Например, наличие мужской медсестры для установки мочевых катетеров у мужчин не потребует, чтобы 50% медсестер были мужчинами.
Карл

@ Dave. спасибо за ваше понимание. Можете ли вы предоставить источники для «Когда вы контролируете объективные вещи, такие как сертификаты, дипломы, срок пребывания и т. Д., Средняя женщина зарабатывает на 40% больше, чем средний мужчина»? и что вы подразумеваете под «Вы не хотите фильтровать социопатов». ?
lcrmorin

@Lcrmorin: у социопатов есть тенденция искать продвижение. Если вы реплицируете свою существующую иерархию, потому что используете ее данные, вы можете выбрать те виды поведения, которые фильтруют по социопатии. Существует мнение, что программное обеспечение будет нейтральным, но многие существующие цепочки командования далеки от нейтральных. Иногда фильтрация для мужчин на самом деле не фильтрация для мужчин, а мужское поведение, скрывающее социопатию.
Дэйв Харрис

@Lcrmorin Мой офис буквально в ящиках прямо сейчас, поскольку он перемещается, включая приблизительно семьсот журнальных статей. Эта статья поразила меня, потому что в то время я исследовал разработчиков программного обеспечения. Это было двенадцать лет назад, однако. Проведя полевые исследования и подготовив будущих инженеров, я полагаю, что женщинам нужно подобрать мужское поведение, чтобы выжить в группе, где преобладают мужчины, но мужчинам не нужно выбирать то поведение, которое приносят с собой женщины. Я предполагаю, что разница заключается в процессе выявления требований.
Дэйв Харрис

Я в основном скептически относился к 40% -ной цифре, которая, кажется, очень большая, и далеко не та, которую испытывают люди, включая меня, в наши дни.
lcrmorin

5

Чтобы построить модель такого рода, важно сначала понять некоторые основные статистические аспекты дискриминации и результатов процесса. Это требует понимания статистических процессов, которые оценивают объекты на основе характеристик. В частности, это требует понимания взаимосвязи между использованием характеристики для целей принятия решений (например, дискриминация) и оценкой результатов процесса в отношении указанной характеристики. Начнем с того, что отметим следующее:

  • Дискриминация (в собственном смысле этого слова) происходит, когда переменная используется в процессе принятия решений, а не только тогда, когда результат коррелирует с этой переменной. Формально мы различаем по переменной, если решающая функция в процессе (т. Е. Рейтинг в этом случае) является функцией этой переменной.

  • Различия в результатах по конкретной переменной часто возникают, даже если по этой переменной нет дискриминации . Это происходит, когда другие характеристики в решающей функции соотносятся с исключенной переменной. В случаях, когда исключаемая переменная является демографической переменной (например, пол, раса, возраст и т. Д.), Корреляция с другими характеристиками является повсеместной, поэтому следует ожидать различий в результатах по демографическим группам.

  • Можно попытаться уменьшить различия в результатах среди демографических групп посредством позитивных действий, которые являются формой дискриминации. Если есть различия в результатах процесса в отношении переменной, можно сузить эти различия, используя переменную в качестве переменной решения (т. Е. Путем различения по этой переменной) таким образом, чтобы отдавать предпочтение группам, которые «недопредставлены» (т.е. группы с более низкими пропорциями положительных результатов в процессе принятия решений).

  • У вас не может быть обоих способов - либо вы хотите избежать дискриминации по определенной характеристике, либо хотите выровнять результаты процесса по этой характеристике. Если ваша цель состоит в том, чтобы «исправить» различия в результатах в отношении определенной характеристики, то не обманывайте себя в том, что вы делаете - вы участвуете в дискриминации для целей позитивных действий .

Как только вы поймете эти основные аспекты процессов принятия статистических решений, вы сможете сформулировать, какова ваша реальная цель в этом случае. В частности, вам нужно будет решить, хотите ли вы недискриминационный процесс, который может привести к неравенству результатов по группам, или хотите ли вы дискриминационный процесс, предназначенный для получения равных результатов процесса (или что-то близкое к этому). С этической точки зрения эта проблема имитирует дискуссию о недискриминации и позитивных действиях.


Допустим, я хочу построить статистическую модель для прогнозирования некоторого вывода из личных данных, например, пятизвездочный рейтинг, чтобы помочь в наборе новых людей. Допустим, я также хочу избежать дискриминации по признаку пола, как этического ограничения. Учитывая два строго равных профиля, кроме пола, выходные данные модели должны быть одинаковыми.

Нетрудно убедиться, что на рейтинги, данные из модели, не влияет переменная, которую вы хотите исключить (например, пол). Для этого все, что вам нужно сделать, это удалить эту переменную в качестве предиктора в модели, чтобы она не использовалась при принятии решения об оценке. Это обеспечит одинаковое обращение двух строго профильных профилей, кроме этой переменной. Однако это не обязательно гарантирует, что модель не будет различать на основе другой переменной, которая коррелирует с исключенной переменной, и это, как правило, не приведет к результатам, которые равны между полами. Это связано с тем, что пол коррелирует со многими другими характеристиками, которые могут использоваться в качестве прогностических переменных в вашей модели, поэтому мы, как правило, ожидаем, что результаты будут неравными даже в отсутствие дискриминации.

В связи с этим вопросом полезно провести разграничение между характеристиками, которые являются неотъемлемыми гендерными характеристиками (например, стоячие пописки), и характеристиками, которые просто коррелируют с полом (например, имеет инженерную степень). Если вы хотите избежать дискриминации по признаку пола, это обычно подразумевает удаление гендера в качестве предиктора, а также удаление любых других характеристик, которые вы считаете неотъемлемой гендерной характеристикой. Например, если так получилось, что соискатели указывают, мочатся ли они стоя или сидя, то это характеристика, которая не является строго эквивалентной полу, но один из вариантов эффективно определяет пол, поэтому вы, вероятно, удалили бы эту характеристику. в качестве предиктора в модели.

  1. Должен ли я использовать пол (или любые связанные с ним данные) в качестве входных данных и пытаться исправить их влияние или избегать использования этих данных?

Исправить что именно? Когда вы говорите «исправить их эффект», я предполагаю, что вы имеете в виду, что вы рассматриваете «исправление» различий в результатах, вызванных предикторами, которые связаны с полом. Если это так, и вы используете гендер, чтобы попытаться исправить несоответствие результатов, то вы эффективно участвуете в позитивных действиях, т. Е. Вы программируете свою модель для позитивной дискриминации по полу с целью сближения результатов. , То, хотите ли вы сделать это, зависит от вашей этической цели в модели (избегание дискриминации и достижение равных результатов).

  1. Как я могу проверить отсутствие дискриминации по признаку пола?

Если вы говорите о фактической дискриминации, в отличие от простых различий в результатах, это легко ограничить и проверить. Все, что вам нужно сделать, это сформулировать вашу модель таким образом, чтобы она не использовала пол (и присущие им гендерные характеристики) в качестве предикторов. Компьютеры не могут принимать решения на основе характеристик, которые вы не вводите в их модель, поэтому, если у вас есть контроль над этим, должно быть довольно просто проверить отсутствие дискриминации.

Все становится немного сложнее, когда вы используете модели машинного обучения, которые пытаются выяснить соответствующие характеристики сами, без вашего участия. Даже в этом случае у вас должна быть возможность запрограммировать вашу модель так, чтобы она исключала предикторы, которые вы указали для удаления (например, пол).

  1. Как я могу исправить свою модель для данных, которые являются статистически дискриминационными, но я не хочу быть по этическим причинам?

Когда вы ссылаетесь на «статистически различимые» данные, я предполагаю, что вы имеете в виду только те характеристики, которые связаны с полом. Если вам не нужны эти другие характеристики, вы должны просто удалить их как предикторы в модели. Однако вы должны иметь в виду, что многие важные характеристики могут быть связаны с полом. Любая бинарная характеристика будет коррелировать с полом в любом случае, когда доля мужчин с этой характеристикой отличается от доли женщин с этой характеристикой. (Конечно, если эти пропорции близки, вы можете обнаружить, что их различие не является «статистически значимым».) Для более общих переменных условие ненулевой корреляции также очень слабое. Таким образом,


Альтернативой удалению коррелированных переменных будет обучение отдельных моделей для мужчин и женщин. Тогда возникает вопрос, как использовать эти отдельные модели?
kjetil b halvorsen

Скучная. Принимая во внимание, что есть смысл в обдумывании, например, в предположениях, например, «Как проблема гендерного уклона проблематична?» никто не всезнающе и нет никакой замены для проверки результатов постфактум .
Карл

1
+1 за вдумчивый. «Все, что вам нужно сделать, это сформулировать вашу модель таким образом, чтобы она не использовала пол (и присущие им гендерные характеристики) в качестве предикторов». Это легко написать, но начинать создавать алгоритмы для социальных решений, таких как найм, когда общество находится в сфере средств массовой информации, означает, что такие вещи, как история доходов , уровень образования и предыдущая должность , причинно обусловлены гендерным фактором.
Алексис

4

В большинстве случаев это будет частичный ответ (или вообще никакого ответа).

Первое, что нужно отметить, это то, что я полностью согласен с @dsaxton: все модели «различают» (по крайней мере, в некоторых определениях дискриминации), так как это их функция. Проблема заключается в том, что модели работают на итоговые и средние значения, и они назначают вещи на основе средних значений. Одинокие люди уникальны и могут быть совершенно не предсказуемы.

Пример: рассмотрим простую модель, которая предсказывает упомянутое пятизвездочное ранжирование на основе одной переменной - возраста . Для всех людей одного возраста (скажем, 30) это даст одинаковый результат. Однако это обобщение. Не каждый человек в возрасте 30 лет будет таким же. И если модель производит разные ранги для разных возрастов - она ​​уже различает людей по возрасту. Скажем, это дает ранг 3 для 50-летних и ранг 4 для 40-летних. В действительности будет много людей 50 лет, которые лучше, чем 40 лет. И они будут подвергнуты дискриминации.


  1. Должен ли я использовать пол (или любые связанные с ним данные) в качестве входных данных и пытаться исправить их влияние или избегать использования этих данных?

Если вы хотите, чтобы модель давала одинаковый результат для равноправных мужчин и женщин, вам не следует включать в модель пол. Любые данные, связанные с полом, вероятно, должны быть включены. Исключая такие ковариаты, вы можете совершать как минимум 2 типа ошибок: 1) предполагая, что все мужчины и женщины равномерно распределены по всем ковариатам; 2) если некоторые из этих половозрелых ковариат имеют отношение и к рейтингу, и одновременно связаны с полом - вы можете значительно снизить производительность своей модели, исключив их.

  1. Как я могу проверить отсутствие дискриминации по признаку пола?

Запустите модель на одних и тех же данных дважды - один раз, используя «мужской», а другой - «женский». Если это происходит из текстового документа, возможно, некоторые слова могут быть заменены.

  1. Как я могу исправить свою модель для данных, которые являются статистически дискриминационными, но я не хочу быть по этическим причинам?

Зависит от того, что вы хотите сделать. Один из жестоких способов добиться равенства между полами - использовать модель для кандидатов-мужчин и женщин-кандидатов отдельно. А затем выберите 50% из одной группы и 50% из другой группы.

Ваш прогноз, скорее всего, пострадает - так как вряд ли лучший набор претендентов будет включать ровно половину мужчин и половину женщин. Но вы, вероятно, были бы в порядке этически? - опять это зависит от этики. Я мог видеть этическую декларацию, в которой подобный тип практики был бы незаконным, поскольку он также допускал бы дискриминацию по признаку пола, но по-другому.


Почему бы не тренироваться отдельно?
kjetil b halvorsen

Не приведет ли это к введению еще одной формы дискриминации - мужчины и женщины будут выбираться по разным критериям.
Каролис Концевичюс

Может быть, но это стоит попробовать. Это также может улучшить правила для мужчин, не давая машине легкий выход.
kjetil b halvorsen

«А затем выберите 50% из одной группы и 50% из другой группы». не приведет ли это к позитивной дискриминации, когда есть различия в исходной популяции (как по количеству, так и по профилю)?
lcrmorin

2
@Lcrmorin Да, конечно. Это то, что они подразумевают под « он также Discriminate по половому признаку , но по - другому. »
Eff

4

История Amazon показывает, что очень трудно избежать предвзятости, Я сомневаюсь, что Amazon нанял тупых людей для этой проблемы, или им не хватало навыков, или что у них не было достаточно данных, или что у них не было достаточно кредитов AWS для обучения лучшей модели. Проблема заключалась в том, что сложные алгоритмы машинного обучения очень хороши для изучения шаблонов данных, гендерный сдвиг - именно такой тип шаблона. Данные были смещены, поскольку рекрутеры (сознательно или нет) предпочитали кандидатов-мужчин. Я не говорю здесь, что Amazon - компания, которая дискриминирует кандидатов на работу, я уверен, что у них есть тысячи антидискриминационных политик и также нанимают довольно хороших вербовщиков. Проблема такого рода предвзятости и предрассудков заключается в том, что они существуют независимо от того, как сильно вы пытаетесь с ними бороться. Есть множество психологических экспериментов, показывающих, что люди могут заявить, что они не предвзяты (например, расисты), но все же совершать необъективные действия, даже не осознавая этого. Но, отвечая на ваш вопрос, чтобы иметь алгоритм, который не является предвзятым, вам нужно начать с данных, которые не содержат такого смещения. Алгоритмы машинного обучения учатся распознавать и повторять шаблоны, которые они видят в данных, поэтому, если ваши данные записывают предвзятые решения, алгоритм, скорее всего, запомнит и усилит это смещение.

Второе - это управление данными. Если вы хотите запретить вашему алгоритму учиться принимать предвзятые решения, вы должны удалить всю информацию, которая может помочь, если вы проведете различие между группами по интересам (пол здесь). Это не означает удаление только информации о поле, но также и всей информации, которая может привести к определению пола, и это может быть много вещей. Есть очевидные, такие как имя и фотография, но также косвенные, например, отпуск по беременности и родам, но также образование (что, если кто-то пошел в школу только для девочек?), Или даже история работы (скажем, что рекрутеры в вашей компании не предвзяты) , но что, если любой другой рекрутер раньше был предвзятым, поэтому история работы отражает все эти предвзятые решения?) и т. д. Как вы можете видеть,

Что касается вопросов 2. и 3., здесь нет простых ответов, и я не чувствую себя достаточно компетентным, чтобы попытаться ответить на них подробно. В обществе существует масса литературы о предрассудках и предвзятости, а также об алгоритмических предубеждениях. Это всегда сложно, и, к сожалению, простых рецептов для этого нет. Такие компании, как Google, нанимают экспертов, чья роль заключается в выявлении и предотвращении такого смещения в алгоритмах.


1
Альтернативой удалению всего, что помогает модели различать (для конкретности) пол, может быть тренировка вашей модели с учетом пола, а затем при прогнозировании (или чего-либо еще) запускайте прогноз дважды, один раз для каждого пола, усредняя результаты.
Jbowman

@jbowman Приводит к небольшим интерпретирующим последствиям и увековечиванию встроенных предубеждений с течением времени.
Алексис

Случай с Амазонкой никоим образом не демонстрирует предвзятости. Это может быть просто феномен, известный как точность стереотипа . Иногда черты фактически коррелируют с демографическими переменными. Вот пример. Вы знаете, что человек X - молодой и средний класс. Насколько вероятно, что они совершат насильственное преступление? Теперь я дам вам другую информацию: их пол. Меняет ли это вероятность? Конечно. Это смещение ? Конечно, нет. Это то, что известно как точность стереотипа.
Eff

1
@ Эфф, и вот как происходит дискриминация ... Женщины в среднем зарабатывают меньше, поэтому давайте платить им меньше! Весь смысл не имея дискриминационные алгоритмов является то , что вы не должны использовать эту информацию для создания decissions, даже если в среднем, кажется, работает. Более того, если это часто срабатывает из- за социальной предвзятости (например, мы стараемся платить больше мужчинам, афроамериканцы чаще попадают в тюрьму за то же преступление, что и американцы кавказского происхождения и т. Д.), Поэтому стереотип верен, поскольку это стереотип, а не из-за характера стереотипной группы.
Тим

1
@ Тим Нет. Хотя в том, что вы говорите, может быть доля правды, по большому счету это не так. Я призываю вас прочитать книгу Ли Юссима «Социальное восприятие и социальная реальность: почему точность доминирует в предвзятости и самореализующемся пророчестве» . В этой основной книге автор в основном рассматривает весь объем научной литературы о стереотипах, предвзятости, самоисполняющихся пророчествах и т. Д. Он показывает, что доказательства в подавляющем большинстве случаев показывают, что то, что вы описываете, является меньшинством происходящего.
Eff

1
  1. Должен ли я использовать пол (или любые связанные с ним данные) в качестве входных данных и пытаться исправить их влияние или избегать использования этих данных?

Есть несколько последствий этого вопроса, которые сводятся к следующему: хочу ли я быть социальным инженером; активист, чья роль состоит в том, чтобы изменить статус-кво, потому что я решил, что общество болеет и нуждается в терапии?Очевидный ответ на это зависит от того, является ли такое изменение полезным или вредным. Например, ответ на вопрос «Что бы мы получили от гендерного равенства для медсестер?» Возможно, наличие хотя бы одной медсестры-мужчины для установки мочевых катетеров у мужчин не потребует, чтобы до 50% медсестер составляли мужчины. Таким образом, подход социальной инженерии исследует различные культуры, контексты и проблемы с известным гендерным уклоном и определяет функциональные выгоды, которые могут быть получены от изменений первопричин (ы) этого смещения. Это важный шаг в процессе принятия решений. Теперь, ответ на вопрос 1. - это громкое «нет», то есть, если вы решили, что общество нуждается в исправлении, просто добавьте звезду или ее часть (см. Ниже) для женщин-заявителей, но будьте очень осторожны с тем, чего вы хотите, потому что это позитивное действие, которое само по себе является дискриминационным. Любые результаты ИИ изменятся в соответствии с новыми нормами найма, как только они станут новой функциональной нормой.

  1. Как я могу проверить отсутствие дискриминации по признаку пола?

Достаточно просто, после того, как рейтинги присваиваются, один делает пост специального анализа , чтобы увидеть , что распределение оценок являются для мужчин и женщин и сравнить их.

  1. Как я могу исправить свою модель для данных, которые являются статистически дискриминационными, но я не хочу быть по этическим причинам?

Это неизбежно сделано после того факта, т.е. постфактум . Предварительная мысль также необходима, но наиболее необходимой является предварительная мысль - это согласованная попытка критически проанализировать предположения социального инженера. То есть, если предположить (ради аргумента, см. Ниже), что социологически оправдано устранение всех предубеждений по гендерному признаку, нужно просто скорректировать оценки женщин, чтобы они следовали тому же эмпирическому распределению, что и мужчины. В обучающем бизнесе это можно назвать оценкой по кривой, Далее, давайте предположим, что может быть нежелательно делать полное устранение предвзятости по половому признаку (это может быть слишком разрушительным для этого), тогда можно сделать частичное устранение предвзятости, например, попарно взвешенное среднее значение каждой родной женщины рейтинг и его полностью скорректированный рейтинг, с любыми весами, которые каждый желает присвоить, который считается (или проверяется как) наименее вредным и / или наиболее полезным.

Гендерное неравенство не может быть должным образом изменено путем найма одной политики, поскольку в некоторых областях число кандидатов-женщин относительно невелико. Например, в Польше в 2018 году 14,3% ИТ-студентов составляли женщины , а в Австралии - 17% . После приема на работу удержание женщин в наукоемких отраслях было проблематичным (женщины, занимающие бизнес-должности в наукоемких отраслях, уходят в другие отрасли с высокой скоростью - 53% женщин по сравнению с 31% мужчин.) Таким образом, удовлетворенность работой женщин может быть более важным, чем политика найма в одиночку. Сначала необходимо определить ощутимую выгоду от наличия определенного процента женщин на рабочем месте, и есть некоторые намеки на это, например, в 2016 году.женщины, входящие в корпоративные советы (16%), почти в два раза чаще, чем их коллеги-мужчины (9%), имели профессиональный опыт в 518 компаниях Forbes Global 2000. Таким образом, техническая смекалка, по-видимому, вносит больший вклад в улучшение состояния женщин, чем мужчин. Из этого обсуждения должно быть очевидно, что прежде чем делать гендерные допущения, необходимо приложить значительные усилия для определения более глобальных конкретных преимуществ конкретной политики, для которой политика найма является лишь небольшой, хотя и важной, частью и, вероятно, не самой важной отправная точка. Последнее является правдоподобным удержанием наемных работников, потому что текучесть кадров вредна для морали и может быть основной причиной гендерных предубеждений при приеме на работу.

Мой опыт управления научил меня тому, что даже небольшие изменения в производительности труда (например, на 10-20%) весьма эффективны для окончательного устранения списков ожидания, то есть нет необходимости немедленно увеличивать производительность на 100%, удваивая численность персонала, как результат это сократит список ожидания лишь немного быстрее, чем это произойдет с меньшими изменениями, но затем будет иметь разрушительные последствия, поскольку впоследствии персонал будет стоять в надежде, что работа пойдет на пользу. То есть, если кто-то решит заняться социальной инженерией, попытка полной коррекции может быть вредной; это не работает таким образом. Попробуйте это с резкой коррекцией курса в парусной лодке, и вы можете закончить, тренируя свои уроки плавания. Эквивалентом для лечения предвзятости по признаку пола (если подходит рецепт) будет нанять только женщин. Это решит проблему (и создаст других). Так,

Таким образом, эффективная социальная инженерия требует целостного подхода к сложным ситуациям, и простая идентификация того, что может быть проблема, не говорит нам о том, что она есть, не говорит нам, что ее вызывает, не говорит нам, как ее исправить, и действительно все это говорит нам о том, что мы должны надеть наши мыслительные шапки.

Используя наш сайт, вы подтверждаете, что прочитали и поняли нашу Политику в отношении файлов cookie и Политику конфиденциальности.
Licensed under cc by-sa 3.0 with attribution required.