Как я могу восстановить трехмерную структуру из набора изображений?

У меня есть набор контуров (набор отрезков), сгруппированных следующим образом:

$S_i = \{I^0, I^\frac{\pi}{4}, I^\frac{2\pi}{4}, \ldots, I^\frac{7\pi}{4} \}$

где

• $S_i$ обозначает последовательность фотографий одного конкретного объекта.
• $I^j$ обозначает изображение с точкой зрения ( означает вид спереди). $j^{th}$$j=0$

Вот пример (вид сзади): $I^\pi$

Как я могу реконструировать 3d структуру объекта с заданным ?$S_i$

Может ли кто-нибудь указать мне на некоторые документы или даже дать мне несколько ключевых слов? Я знаю, что есть много статей, которые работают с облаками точек и так далее, но они не работают, так как я работаю со строками.

На самом деле это довольно сложная тема. Классическая трехмерная реконструкция с несколькими видами в первую очередь касается сопоставления точек, то есть нахождения одной и той же точки на каждом изображении. Учитывая параметры камеры (вида) для каждого изображения, исходная трехмерная точка может быть восстановлена. (С помощью лазера или проектора сцена может быть освещена, так что сопоставление может быть сделано относительно легко.)

Библия поля - это геометрия множественного обзора в компьютерном зрении Хартли и Циссермана

В книге есть раздел о трифокальном тензоре, который является полилинейным ограничением между 3 видами. Он содержит не только точечные, но и ограничения соответствия строк. Это может быть использовано для реконструкции здания очень хорошо.

Таким образом, ваши контуры должны быть согласованы в первую очередь, и, возможно, их можно восстановить, зная параметры камеры (калибровка камеры также описана в книге). Тогда у вас будут контуры в 3d, но не более того. Для реальных поверхностей вы должны выполнить плотное сопоставление точек. Несмотря на то, что упомянутый тензор выглядит хорошо, он используется для прямых линий, и я уверен, что современный автомобиль имеет изогнутые линии по всему.

Я не знаю, как вы получили эти контуры, но, увидев опубликованное вами изображение, я скептически отношусь к надежности этого алгоритма, поэтому восстановление будет плохим.

Другой метод, который мне пришёл в голову, - это визуальный корпус или космическая резьба . Контурная обработка также должна быть сделана. Запустив метод на каждом контуре, вы можете получить модель.

Хотя упомянутые Фодором Хартли и Циссерманом книги, безусловно, стоит прочитать, они скорее для общего понимания, чем для практических алгоритмов. Это довольно устарело, и эти методы не эффективны. По поводу вашей проблемы - сама постановка проблемы очень необычна. Как было отмечено Фодором, начинать с сопоставления характерных точек вместо контуров намного проще. Что касается точек, абсолютно лучший обзор доступных современных методов - это статья Триггса «Настройка пучка - современный синтез». Но прежде чем использовать настройку пучка, вы должны сопоставить соответствующую точку на изображениях, используя что-то вроде SIFT или сопоставление с шаблоном. Google для 3D реконструкциидля примеров некоторых полных методов. Вы также можете использовать пакеты с открытым исходным кодом, есть несколько доступных.

Если вы настаиваете на использовании контуров, проблема намного сложнее, хотя все еще (едва) поддается решению. Сначала вы должны будете идентифицировать и сопоставить соответствующие контуры на всех изображениях, после чего напишите функцию стоимости - суммы ошибок перепроецирования для каждой подобранной группы контуров как функцию от положения камеры и ориентации каждого изображения. После этого найдите набор положения камеры, которые минимизируют эту функцию стоимости. Каждый шаг этого процесса чрезвычайно сложен, и нет хорошего обзора, как Triggs. Вы можете найти в Google некоторые релевантные статьи, так как некоторые сочетания терминов «контуры», «совпадение контуров», «настройка пучка», «ошибка перепроектирования», «трехмерная реконструкция».

Проверьте Реконструкцию модели из изображений, которая немного отличается от того, что вы делаете, но я говорю о том, как перейти от изображений к 3d-модели. Также проверьте MeshLab , у него есть некоторые алгоритмы реконструкции, в которые вы, возможно, сможете передавать свои данные.