Что такое показатель MAP и как он рассчитывается?

В компьютерном зрении и обнаружении объектов наиболее распространенным методом оценки является MAP. Что это такое и как рассчитывается?

Цитаты из вышеупомянутой статьи Зиссермана - 4.2 Оценка результатов (стр. 11) :

Сначала "критерий перекрытия" определяется как пересечение по объединению больше 0,5. (например, если предсказанный блок удовлетворяет этому критерию относительно блока наземной истины, это считается обнаружением). Затем выполняется сопоставление между блоками GT и предсказанными блоками с использованием этого «жадного» подхода:

Обнаружения, полученные с помощью метода, были назначены наземным объектам истинности, удовлетворяющим критерию перекрытия, в порядке ранжирования по (убывающей) достоверности. Множественные обнаружения одного и того же объекта на изображении считались ложными, например, 5 обнаружений одного объекта засчитывались как 1 правильное обнаружение и 4 ложных обнаружения.

Следовательно, каждое предсказанное поле является либо истинно-положительным, либо ложноположительным. Каждый ящик наземной истины является истинно-положительным. Нет истинно-отрицательных.

Затем вычисляется средняя точность путем усреднения значений точности на кривой точности-отзыва, где отзыв находится в диапазоне [0, 0,1, ..., 1] (например, среднее из 11 значений точности). Чтобы быть более точным, мы рассматриваем слегка скорректированную кривую PR, где для каждой точки кривой (p, r), если существует другая точка кривой (p ', r') такая, что p '> p и r'> = r , мы заменим p на максимальное p 'этих точек.

Что мне до сих пор неясно, так это то, что делается с теми коробками GT, которые никогда не обнаруживаются (даже если достоверность равна 0). Это означает, что существуют определенные значения отзыва, которых кривая точности-отзыва никогда не достигнет, и это делает вычисление средней точности выше неопределенным.

Редактировать:

Краткий ответ: в области, где отзыв недоступен, точность падает до 0.

Один из способов объяснить это - предположить, что, когда порог достоверности приближается к 0, бесконечное количество предсказанных ограничивающих прямоугольников загорается по всему изображению. Затем точность сразу же становится равной 0 (поскольку имеется только конечное количество блоков GT), и отзыв продолжает расти на этой плоской кривой, пока мы не достигнем 100%.

MAP - это средняя средняя точность.

Его использование отличается в области настроек поиска информации (Ссылка [1] [2] ) и мультиклассовой классификации (Обнаружение объектов).

Чтобы вычислить его для обнаружения объектов, вы вычисляете среднюю точность для каждого класса в ваших данных на основе прогнозов вашей модели. Средняя точность связана с площадью под кривой точности-отзыва для класса. Затем, взяв среднее значение этих средних индивидуальных классов точности, вы получите среднюю среднюю точность.

Чтобы рассчитать среднюю точность, см. [3]

Для обнаружения распространенным способом определения правильности одного предложения объекта является пересечение по объединению (IoU, IU). Он берет набор A предлагаемых пикселей объекта и набор истинных пикселей объекта Bи вычисляет:

Обычно IoU> 0,5 означает попадание, в противном случае - сбой. Для каждого класса можно рассчитать

• Истинный положительный TP (c): было сделано предложение для класса c, и на самом деле существовал объект класса c
• Ложно-положительный FP (c): предложение было сделано для класса c, но нет объекта класса c
• Средняя точность для класса c:
  

Тогда MAP (средняя средняя точность) будет:

Примечание. Если кому-то нужны лучшие предложения, нужно увеличить IoU с 0,5 до более высокого значения (до 1,0, что было бы идеально). Это можно обозначить как mAP @ p, где p \ in (0, 1) - это IoU.

mAP@[.5:.95] означает, что MAP рассчитывается по нескольким пороговым значениям, а затем снова усредняется

Изменить: для получения более подробной информации см. Метрики оценки COCO.

Я думаю, что важная часть здесь связана с тем, как обнаружение объектов можно рассматривать как то же самое, что и стандартные задачи поиска информации, для которых существует по крайней мере одно отличное описание средней точности .

Результатом работы некоторого алгоритма обнаружения объектов является набор предлагаемых ограничивающих рамок, для каждого из которых указывается степень достоверности и классификационные баллы (по одному баллу на класс). Давайте пока проигнорируем оценки классификации и воспользуемся доверием как входными данными для пороговой двоичной классификации . Интуитивно средняя точность - это совокупность всех вариантов порогового / порогового значения. Но ждать; чтобы рассчитать точность, нам нужно знать, правильный ли ящик!

Здесь становится сложно / запутаться; в отличие от типичных проблем с поиском информации, здесь у нас действительно есть дополнительный уровень классификации. То есть мы не можем точно сопоставить блоки, поэтому нам нужно классифицировать, является ли ограничивающий прямоугольник правильным или нет. Решение состоит в том, чтобы сделать жестко запрограммированную классификацию размеров коробки; мы проверяем, достаточно ли он совпадает с какой-либо основной истиной, чтобы считаться «правильным». Порог для этой детали выбирается здравым смыслом. Набор данных, над которым вы работаете, скорее всего, будет определять этот порог для «правильного» ограничивающего прямоугольника. Большинство наборов данных просто устанавливают его на 0,5 IoU и оставляют на этом уровне (я рекомендую выполнить несколько ручных вычислений IoU [это не сложно], чтобы понять, насколько строгим является IoU, равный 0,5 на самом деле).

Теперь, когда мы фактически определили, что значит быть «правильным», мы можем просто использовать тот же процесс, что и поиск информации.

Чтобы найти среднюю среднюю точность (mAP), вы просто стратифицируете предлагаемые блоки на основе максимума оценок классификации, связанных с этими блоками, а затем усредняете (принимайте среднее значение) средней точности (AP) по классам.

TL; DR; проводите различие между определением, является ли прогноз ограничивающего прямоугольника "правильным" (дополнительный уровень классификации), и оценкой того, насколько хорошо доверительный интервал информирует вас о "правильном" прогнозе ограничивающего прямоугольника (полностью аналогично случаю поиска информации) и типичным описанием Карта будет иметь смысл.

Стоит отметить, что площадь под кривой точности / отзыва - это то же самое, что и средняя точность. , и мы, по сути, аппроксимируем эту область с помощью правила трапеции или правой руки для аппроксимации интегралов.

Определение: mAP → средняя точность

В большинстве конкурсов по обнаружению объектов есть много категорий для обнаружения, и оценка модели выполняется каждый раз для одной конкретной категории, результатом оценки является AP этой категории.

Когда каждая категория оценивается, среднее значение всех AP вычисляется как окончательный результат модели, то есть mAP.

Intersection Over Union (IOU) - это показатель, основанный на индексе Жаккара, который оценивает перекрытие между двумя ограничивающими прямоугольниками. Для этого требуется ограничивающая рамка наземной истины и прогнозируемая ограничивающая рамка. Применяя долговую расписку, мы можем определить, действительно ли обнаружение (истинное положительное) или нет (ложное положительное) .IOU задается перекрывающейся областью между прогнозируемой ограничивающей рамкой и землей. ограничивающая рамка истины, разделенная на область объединения между ними.