Как можно составить график результатов порядка субъективного ранга?


17

Я ищу способ визуализации субъективных рейтингов, отдельно от моих непараметрических тестов.

Я попросил 12 участников оценить 8 различных предметов в соответствии с различным субъективным критерием (отдельные оценки для каждого). Для любого индивидуального набора рейтингов я ищу хороший способ визуализации трендов высокого уровня рейтинга.

Я пробовал графики как на столбцах, так и на радарах в среднем рейтинге, и я видел, как один человек использовал график разброса / всплывающих подсказок по количеству ответов на рейтинг, но я не совсем уверен, что дает лучший обзор. Либо я могу использовать 8 средних рейтингов, либо 8 отсчетов каждого рейтинга за элемент.

Редактировать:

Например: каждый столбец представляет собой элемент, каждая строка представляет собой рейтинг каждого из восьми элементов. Не особенно сильное соглашение в этом примере, но в целом хотелось бы понять, как лучше всего передать общие тенденции.

                        Item:
            A   B   C   D   E   F   G   H
Rater:  
  1         6   8   1   7   3   4   2   5
  2         1   3   8   7   6   5   2   4
  3         5   8   7   6   1   4   2   3
  4         5   8   7   6   4   2   1   3
  5         1   2   8   7   4   3   5   6
  6         1   7   8   5   6   2   4   3
  7         5   1   8   4   7   3   6   2
  8         4   2   8   7   6   1   5   2
  9         6   3   8   4   7   1   5   2
  10        3   2   8   7   4   1   5   6
  11        2   3   7   8   1   5   4   5
  12        8   5   6   7   2   3   1   4

Это может помочь, если вы могли бы перечислить некоторые из ваших данных. Кроме того, какое программное обеспечение вы, вероятно, будете использовать?
gung - Восстановить Монику

Я добавил пример матрицы, и я, скорее всего, буду строить графики в Excel.
Джесси

Вы пытаетесь отобразить ранги предметов или соглашение между участниками (или оба)?
whuber

1
Я спрашивал конкретно о позициях предметов, но если есть хороший способ показать меж-оценочное соглашение, отличное от Кендалла W, тем лучше.
Джесси

Вы можете построить эмпирический CDF каждого столбца. Это выглядело бы как (весь беспорядок) кривых ROC. Не уверен, что выскочило бы, если бы ты сделал это, все же.
Шаббычеф

Ответы:


8

Я сделал нечто подобное для визуализации похожих рейтингов. Метод, который я использовал, дал мне быстрый снимок того, как соотносятся рейтинги - и ничего более. Мое решение использовало спарклайны Excel 2010 для создания представления рейтинга, кратного кратному (это можно сделать в других версиях Excel, но это требует немного больше работы). Кроме того, я обычно использую функцию таблиц Excel только для ускорения процесса.

  1. Переставьте матрицу, чтобы в строках содержались все значения для каждого элемента.
  2. Если ранг 1 лучший, инвертируйте свои ранги так, чтобы 1 = 8,2 = 7 ... это просто поможет вам лучше визуализировать столбцы диаграммы (а не пробел).
  3. Суммируйте результаты оценки каждого вопроса. Тогда сортируйте по этому итогу. Это поставит пункт с лучшими общими баллами первым, а худший общий балл последним. Это ранжирование поможет вам визуально ранжировать диаграммы, когда общая картина может быть неочевидной (как в случае с вашими примерами данных).
  4. Вставьте Спарклайны, используя данные рейтинга (без столбца итогов) рядом с таблицей данных. Визуально, чем больше / больше баров, тем лучше общий рейтинг.

В этом подходе нет ничего особенно аналитического, но это довольно быстрый способ визуализации данных.

Субъективные рейтинги

Обратите внимание, что если у вас нет Excel 2010, вы можете создать урезанные столбчатые диаграммы размера ячейки для каждой строки, которые выглядят примерно одинаково. Или вы можете использовать сторонние дополнения для их создания.

РЕДАКТИРОВАТЬ: Таблица и Диаграмма, используя предложение Гунга для среднего измерения. Как уже указывалось, поскольку шкала похожа, она была добавлена ​​на график в качестве дополнительной точки сравнения (я использовал серый, чтобы помочь отличить ее от графиков необработанных данных).

введите описание изображения здесь


3
+1, это действительно хорошее, простое решение для этой ситуации. Одно небольшое предложение, которое я хотел бы сделать, это использовать средние значения вместо сумм на шаге № 3. Это на самом деле ничего не изменит, но возвращает итоговое значение в исходную шкалу, что может упростить интерпретацию значения.
gung - Восстановить Монику

@ Gung, спасибо за отзыв. Я думаю, что использование средних значений действительно хорошо работает (как указано выше). Мне никогда не нравилось использовать итоги, но я не слишком задумывался о хорошей альтернативе.
Дав

2

Я сделал бы это в форме графика ударов. Это выглядит довольно сумбурно, поэтому я бы поработал с цветами, чтобы попытаться помочь этому.

Спарклайн @dav предложил не разрешать сравнение между продуктами.

введите описание изображения здесь


Я думаю, что этот график был бы превосходным, если бы размеры точек были масштабированы в обратном порядке от 8 (наименьшее) до 1 (самое большое). Я думаю, что тенденции могут выскочить больше таким образом.
Брэндон Бертельсен

1

Точечные графики могут быть очень полезны для этого типа анализа.

Это то, что я придумал с твоими данными. Вы также можете добавить соединительные линии.

Это то, что я придумал с твоими данными.  Вы также можете добавить строки

Я бы также подумал о добавлении более заметных серий, чтобы показать среднее значение для каждого варианта.

Некоторые ссылки:

http://peltiertech.com/Excel/Charts/DotPlot.html

http://peltiertech.com/WordPress/charting-survey-results/


1

Я знаю, что этому вопросу уже семь лет, и я вижу, что это плакат АВОЛ, но я ценю вопрос, который включает данные ...

Похоже, что тенденции рейтинга продуктов - это вопрос, а не тенденции отдельных оценщиков. В этом случае вы можете получить представление о тенденциях высокого уровня, нанеся на график средние значения и доверительный интервал для каждого продукта.

введите описание изображения здесь

По крайней мере, мы можем видеть, что C и D кажутся хуже, чем другие (предполагая, что 8 - худший рейтинг). Возможно, у А, В и С больше разногласий, чем у других.

Если в оценке важны отдельные оценщики, вы можете использовать разные метки и цвета для точек каждого оценщика.

Используя наш сайт, вы подтверждаете, что прочитали и поняли нашу Политику в отношении файлов cookie и Политику конфиденциальности.
Licensed under cc by-sa 3.0 with attribution required.