Как заказать или оценить набор экспертов?

У меня есть база данных, содержащая большое количество экспертов в этой области. Для каждого из этих экспертов у меня есть множество атрибутов / точек данных, таких как:

количество лет опыта.
лицензии
количество отзывов
текстовое содержание этих обзоров
5-звездочный рейтинг в каждом из этих обзоров по ряду факторов, таких как скорость, качество и т. Д.
награды, ассоциации, конференции и т. д.

Я хочу дать оценку этим экспертам, скажем, из 10, исходя из их важности. Некоторые из данных могут отсутствовать для некоторых экспертов. Теперь мой вопрос: как мне придумать такой алгоритм? Кто-нибудь может указать мне на некоторую соответствующую литературу?

Кроме того, я обеспокоен тем, что, как и во всех рейтингах / обзорах, цифры могут сгруппироваться рядом с некоторыми значениями. Например, большинство из них могут в конечном итоге получить 8 или 5. Есть ли способ выделить небольшие различия в большую разницу в баллах только для некоторых атрибутов.

Некоторые другие обсуждения, которые я решил, могут быть актуальны:

rating valuation

— Sidmitra
источник

Это невозможно сделать, если вы не придете к какому-то объективному критерию; Вероятно, большинство возможных рейтингов могут быть построены с некоторой комбинацией ваших параметров.

Ответы:

Люди изобрели многочисленные системы оценки вещей (например, экспертов) по нескольким критериям: посетите страницу Википедии, посвященную анализу решений по нескольким критериям, чтобы получить список. Тем не менее, не очень хорошо представлен один из наиболее защищенных методов: теория оценки нескольких атрибутов. Это включает в себя набор методов для оценки компромиссов между наборами критериев, чтобы (а) определить подходящий способ для повторного выражения значений отдельных переменных и (б) взвесить повторно выраженные значения, чтобы получить оценку для ранжирования , Принципы просты и оправданны, математика безупречна, и в теории нет ничего фантастического. Все больше людей должны знать и практиковать эти методы, а не изобретать произвольные системы оценки.

— Whuber
источник

Вы знаете о пакете R для этого?

— user333

@ Пользователь Нет, и я сомневаюсь, что есть один. Между прочим, здесь нет волшебной программной пули: почти вся работа включает в себя продумывание проблем и изучение конкретных компромиссов контролируемым образом.

— whuber

В конечном итоге это может быть не только статистическим упражнением. PCA - это очень мощный количественный метод, который позволит вам сгенерировать баллы или веса по первым нескольким основным компонентам, которые вы можете использовать для ранжирования. Однако объяснить, что представляют собой основные компоненты, очень сложно. Это количественные конструкции. Они не диалектические. Таким образом, объяснить, что они на самом деле означают, иногда невозможно. Это особенно верно, если у вас есть аудитория, которая не является количественной. Они не поймут, о чем вы говорите. И будет думать о вашем PCA как о каком-то загадочном черном ящике.

Вместо этого я просто выстроил бы все соответствующие переменные и использовал бы систему весов, основанную на том, что, как думают, должны быть весовые коэффициенты.

Я думаю, что если вы разрабатываете это для посторонних, клиентов, пользователей, было бы замечательно, если бы вы могли встраивать гибкость в определении веса для пользователей.
Некоторые пользователи могут ценить многолетний опыт гораздо больше, чем сертификация и наоборот. Если вы можете оставить это решение им. Таким образом, ваш алгоритм не является черным ящиком, который они не понимают, и им неудобно. Вы сохраняете это полностью прозрачным и отвечаете им на основе их собственной относительной оценки того, что имеет значение.

— Sympa
источник

@Gaetan Ну, для PCA вы должны найти подходящее числовое кодирование для переменной, такой как «текстовое содержимое» ...

— гл

Это не проблема, которую я поднимаю. PCA может обрабатывать фиктивные переменные, как вы предлагаете. PCA невероятно мощный и гибкий в этом смысле. Но интерпретация основных компонентов становится действительно сложной. Допустим, первый основной компонент начинается так: 0,02 года опыта - 0,4 текстового содержания отзывов + 0,01 ассоциации ... Может быть, вы можете это объяснить. Экспертная эффективность пропорциональна многолетнему опыту, но обратно пропорциональна текстовому содержанию обзоров? Это кажется абсурдным. Но PCA часто дает нелогичные результаты.

— Симпа

@Gaetan Тем не менее, я повторяю свое мнение, что проблема заключается в том, как вы решаете представлять свои переменные (или как вы находите полезную метрику). Я согласен с вами в отношении сложности интерпретации линейной комбинации переменных при работе с не непрерывными измерениями или набором типов данных. Вот почему я предложил в другом комментарии искать альтернативные факторные методы. В любом случае, разработка правил оценки, основанных на предпочтениях пользователя или экспертной оценке (как это делается при клинической оценке), также требует некоторой статистической проверки (по крайней мере, для обеспечения достоверности оценок).

— ЧЛ

@Gaetan, Да, некоторые из ваших комментариев имеют большой смысл, и вы правы, говоря, что это не просто статистическое упражнение, но включает элементы, которые являются более субъективными. Причина в том, что намерение с точки зрения пользователя / клиентов может отличаться. Предполагая, что он выполняет поиск эксперта, я просто добавляю фильтры, чтобы он мог выбирать экспертов> количество лет опыта и т. Д. Но скажем, он сузился до 2 экспертов и хочет провести независимое сравнение. Поэтому я просто ищу общий метод для сравнения любых двух экспертов.

— Сидмитра

+1 за указание на то, что это не статистическое упражнение. В лучшем случае PCA может описывать отношения в пределах определенного набора данных и, возможно, упрощать данные, идентифицируя почти коллинеарность. Не ясно, как это может сообщить нам о том, как ранжировать экспертов.

— whuber

Как вы думаете, вы могли бы количественно оценить все эти атрибуты?

Если да, я бы предложил выполнить анализ главных компонентов. В общем случае, когда все корреляции положительны (а если нет, вы можете легко получить их с помощью некоторого преобразования), первый главный компонент может рассматриваться как мера общей важности эксперта, поскольку он является взвешенным среднее значение всех атрибутов (и веса будут соответствующими вкладами переменных - с этой точки зрения, сам метод покажет важность каждого атрибута). Оценка, которую каждый эксперт получает по первому основному компоненту, - это то, что вам нужно для их ранжирования.

— Джордж Донтас
источник

Это выглядит хорошо, но разве он не выберет атрибуты с наибольшей дисперсией и самые большие кластеры взаимно коррелированных?

В качестве альтернативы можно выполнить многократный анализ соответствия или многофакторный анализ для смешанных данных (если числовое перекодирование оказывается нереалистичным для некоторых переменных), а остальная часть вашей идеи (вычисление коэффициентов вычислений и просмотр переменных нагрузок в 1-м измерении) применима также.

— ЧЛ

Мне кажется, что первый компонент просто укажет на сильное направление общности среди экспертов. Как он мог сказать нам, кто лучше, а кто хуже? Это требует дополнительной информации о взаимосвязи между этими переменными и качеством того, чтобы быть «хорошим» или «плохим» экспертом. Если мы считаем, что все переменные монотонно связаны с добром или злом, то, возможно, PCA может помочь нам изучить границы экстремальных (или, возможно, просто отдаленных!) Экспертов. Будьте осторожны - даже предположение о монотонности является подозрительным.

— whuber

@ whuber Я понимаю, спасибо. Может быть, вы могли бы добавить это в свой ответ (что очень приветствуется)?

— ЧЛ