Как можно составить график результатов порядка субъективного ранга?


17

Я ищу способ визуализации субъективных рейтингов, отдельно от моих непараметрических тестов.

Я попросил 12 участников оценить 8 различных предметов в соответствии с различным субъективным критерием (отдельные оценки для каждого). Для любого индивидуального набора рейтингов я ищу хороший способ визуализации трендов высокого уровня рейтинга.

Я пробовал графики как на столбцах, так и на радарах в среднем рейтинге, и я видел, как один человек использовал график разброса / всплывающих подсказок по количеству ответов на рейтинг, но я не совсем уверен, что дает лучший обзор. Либо я могу использовать 8 средних рейтингов, либо 8 отсчетов каждого рейтинга за элемент.

Редактировать:

Например: каждый столбец представляет собой элемент, каждая строка представляет собой рейтинг каждого из восьми элементов. Не особенно сильное соглашение в этом примере, но в целом хотелось бы понять, как лучше всего передать общие тенденции.

                        Item:
            A   B   C   D   E   F   G   H
Rater:  
  1         6   8   1   7   3   4   2   5
  2         1   3   8   7   6   5   2   4
  3         5   8   7   6   1   4   2   3
  4         5   8   7   6   4   2   1   3
  5         1   2   8   7   4   3   5   6
  6         1   7   8   5   6   2   4   3
  7         5   1   8   4   7   3   6   2
  8         4   2   8   7   6   1   5   2
  9         6   3   8   4   7   1   5   2
  10        3   2   8   7   4   1   5   6
  11        2   3   7   8   1   5   4   5
  12        8   5   6   7   2   3   1   4

Это может помочь, если вы могли бы перечислить некоторые из ваших данных. Кроме того, какое программное обеспечение вы, вероятно, будете использовать?
— gung - Восстановить Монику

Я добавил пример матрицы, и я, скорее всего, буду строить графики в Excel.
— Джесси

Вы пытаетесь отобразить ранги предметов или соглашение между участниками (или оба)?
— whuber

1
Я спрашивал конкретно о позициях предметов, но если есть хороший способ показать меж-оценочное соглашение, отличное от Кендалла W, тем лучше.
— Джесси

Вы можете построить эмпирический CDF каждого столбца. Это выглядело бы как (весь беспорядок) кривых ROC. Не уверен, что выскочило бы, если бы ты сделал это, все же.
— Шаббычеф

Ответы:


8

Я сделал нечто подобное для визуализации похожих рейтингов. Метод, который я использовал, дал мне быстрый снимок того, как соотносятся рейтинги - и ничего более. Мое решение использовало спарклайны Excel 2010 для создания представления рейтинга, кратного кратному (это можно сделать в других версиях Excel, но это требует немного больше работы). Кроме того, я обычно использую функцию таблиц Excel только для ускорения процесса.

  1. Переставьте матрицу, чтобы в строках содержались все значения для каждого элемента.
  2. Если ранг 1 лучший, инвертируйте свои ранги так, чтобы 1 = 8,2 = 7 ... это просто поможет вам лучше визуализировать столбцы диаграммы (а не пробел).
  3. Суммируйте результаты оценки каждого вопроса. Тогда сортируйте по этому итогу. Это поставит пункт с лучшими общими баллами первым, а худший общий балл последним. Это ранжирование поможет вам визуально ранжировать диаграммы, когда общая картина может быть неочевидной (как в случае с вашими примерами данных).
  4. Вставьте Спарклайны, используя данные рейтинга (без столбца итогов) рядом с таблицей данных. Визуально, чем больше / больше баров, тем лучше общий рейтинг.

В этом подходе нет ничего особенно аналитического, но это довольно быстрый способ визуализации данных.

Субъективные рейтинги

Обратите внимание, что если у вас нет Excel 2010, вы можете создать урезанные столбчатые диаграммы размера ячейки для каждой строки, которые выглядят примерно одинаково. Или вы можете использовать сторонние дополнения для их создания.

РЕДАКТИРОВАТЬ: Таблица и Диаграмма, используя предложение Гунга для среднего измерения. Как уже указывалось, поскольку шкала похожа, она была добавлена ​​на график в качестве дополнительной точки сравнения (я использовал серый, чтобы помочь отличить ее от графиков необработанных данных).

введите описание изображения здесь


3
+1, это действительно хорошее, простое решение для этой ситуации. Одно небольшое предложение, которое я хотел бы сделать, это использовать средние значения вместо сумм на шаге № 3. Это на самом деле ничего не изменит, но возвращает итоговое значение в исходную шкалу, что может упростить интерпретацию значения.
— gung - Восстановить Монику

@ Gung, спасибо за отзыв. Я думаю, что использование средних значений действительно хорошо работает (как указано выше). Мне никогда не нравилось использовать итоги, но я не слишком задумывался о хорошей альтернативе.
— Дав

2

Я сделал бы это в форме графика ударов. Это выглядит довольно сумбурно, поэтому я бы поработал с цветами, чтобы попытаться помочь этому.

Спарклайн @dav предложил не разрешать сравнение между продуктами.

введите описание изображения здесь


Я думаю, что этот график был бы превосходным, если бы размеры точек были масштабированы в обратном порядке от 8 (наименьшее) до 1 (самое большое). Я думаю, что тенденции могут выскочить больше таким образом.
— Брэндон Бертельсен

1

Точечные графики могут быть очень полезны для этого типа анализа.

Это то, что я придумал с твоими данными. Вы также можете добавить соединительные линии.

Это то, что я придумал с твоими данными.  Вы также можете добавить строки

Я бы также подумал о добавлении более заметных серий, чтобы показать среднее значение для каждого варианта.

Некоторые ссылки:

http://peltiertech.com/Excel/Charts/DotPlot.html

http://peltiertech.com/WordPress/charting-survey-results/


1

Я знаю, что этому вопросу уже семь лет, и я вижу, что это плакат АВОЛ, но я ценю вопрос, который включает данные ...

Похоже, что тенденции рейтинга продуктов - это вопрос, а не тенденции отдельных оценщиков. В этом случае вы можете получить представление о тенденциях высокого уровня, нанеся на график средние значения и доверительный интервал для каждого продукта.

введите описание изображения здесь

По крайней мере, мы можем видеть, что C и D кажутся хуже, чем другие (предполагая, что 8 - худший рейтинг). Возможно, у А, В и С больше разногласий, чем у других.

Если в оценке важны отдельные оценщики, вы можете использовать разные метки и цвета для точек каждого оценщика.

Используя наш сайт, вы подтверждаете, что прочитали и поняли нашу Политику в отношении файлов cookie и Политику конфиденциальности.
Licensed under cc by-sa 3.0 with attribution required.