Предыдущие ответы действительно хороши, я хотел бы отметить еще несколько дополнений:
Сегментация объекта
Одна из причин, по которой он потерял популярность в исследовательском сообществе, заключается в том, что он проблематично расплывчатый. Сегментация объектов раньше просто означала нахождение одного или небольшого количества объектов на изображении и рисование границы вокруг них, и для большинства целей вы все равно можете предположить, что это означает именно это. Однако его также начали использовать для обозначения сегментации капель, которые могут быть объектами, сегментации объектов. из фона. (теперь чаще называется вычитанием фона или сегментацией фона или обнаружением переднего плана), и даже в некоторых случаях используются взаимозаменяемо с распознаванием объектов с использованием ограничивающих рамок (это быстро прекратилось с появлением глубоких нейросетевых подходов к распознаванию объектов, но ранее распознавание объектов также могло означает просто пометить все изображение объектом в нем).
Что делает «сегментацию» «семантической»?
Simpy, каждому сегменту или, в случае глубоких методов, каждому пикселю присваивается метка класса на основе категории. Сегментация в целом - это просто разделение изображения по какому-то правилу. Сегментация со смещением , например, с очень высокого уровня разделяет данные в соответствии с изменениями энергии изображения. Вырезать графикСегментация на основе аналогичным образом не изучается, а напрямую выводится из свойств каждого изображения отдельно от остальных. Более поздние методы (на основе нейронных сетей) используют пиксели, которые помечены, чтобы научиться определять локальные особенности, связанные с определенными классами, а затем классифицировать каждый пиксель на основе того, какой класс имеет наибольшую достоверность для этого пикселя. Таким образом, «разметка пикселей» на самом деле является более честным названием задачи, а компонент «сегментации» возникает на стадии становления.
Сегментация экземпляра
Возможно, наиболее сложное, актуальное и оригинальное значение сегментации объектов, «сегментация экземпляра» означает сегментацию отдельных объектов в пределах сцены, независимо от того, относятся ли они к одному типу. Однако одна из причин, по которой это так сложно, состоит в том, что с точки зрения видения (и в некотором смысле философского) не совсем ясно, что делает экземпляр «объект». Части тела - объекты? Следует ли вообще сегментировать такие «частичные объекты» алгоритмом сегментации экземпляра? Должны ли они быть сегментированы только в том случае, если они рассматриваются отдельно от целого? Как насчет составных объектов, если две вещи четко соединены, но могут быть разделены на один или два объекта (камень, приклеенный к верхушке палки, топор, молот, или просто палка и камень, если они не сделаны должным образом?). Кроме того, это не Ясно, как различать экземпляры. Является ли завещание отдельным экземпляром от других стен, к которым оно прикреплено? В каком порядке следует считать инстансы? Как они появляются? Близость к точке зрения? Несмотря на эти трудности, сегментация объектов по-прежнему имеет большое значение, потому что, будучи людьми, мы постоянно взаимодействуем с объектами независимо от их «метки класса» (используя случайные объекты вокруг вас в качестве бумажных гирь, сидя на вещах, которые не являются стульями), и поэтому некоторые наборы данных действительно пытаются решить эту проблему, но основная причина, по которой проблеме пока не уделяется много внимания, заключается в том, что она недостаточно четко определена.
Парсинг сцены / маркировка сцены
Парсинг сцены - это строго сегментированный подход к маркировке сцены, который также имеет свои собственные проблемы с нечеткостью. Исторически обозначение сцены означало разделение всей «сцены» (изображения) на сегменты и присвоение им ярлыка класса. Однако оно также использовалось для обозначения присвоения меток классов областям изображения без их явной сегментации. Что касается сегментации, «семантическая сегментация» не подразумевает разделения всей сцены. Для семантической сегментации алгоритм предназначен для сегментации только известных ему объектов и будет наказан своей функцией потерь за маркировку пикселей, не имеющих метки. Например, набор данных MS-COCO - это набор данных для семантической сегментации, в котором сегментированы только некоторые объекты.
