Могут ли камеры + отображать экраны с оптическим поведением окна / зеркала?

Дисплеи, подключенные к камерам, значительно отличаются от окон или зеркал. Глядя в окно или зеркало, мы можем сосредоточиться на бесконечности, и мы можем переместить нашу точку зрения, чтобы увидеть немного другое. С помощью экрана дисплея, показывающего отснятый материал с камеры в реальном времени, мы видим поле зрения с одной точки (местоположение камеры) и фокусируемся на экране.

Можно ли разработать экран + камеру, которая по поведению намного ближе к окну или зеркалу? Я думаю, что экран и камера должны иметь одинаковую площадь поверхности. Оба будут чувствительны к направлению, и когда пиксель камеры$(C_i, C_j)$ на камеру поступает фотон с частотой $\nu$ с углов $(C_\phi, C_\theta)$, экран будет отправлять соответствующий фотон на частоте $\nu$ с позиции $(S_i, S_j)$ в направлении $(S_\phi, S_\theta)$, где $(S_\phi, S_\theta)$ рассчитаны из $(C_\phi, C_\theta)$ имитирующий поведение окна или зеркала.

Такое устройство теоретически возможно? Если да, будет ли такое устройство технически осуществимым сегодня? Если да, была ли серьезная работа над такими устройствами? Если это теоретически возможно, но не осуществимо сегодня, что нужно будет разработать, прежде чем такие устройства появятся на горизонте?

Он должен иметь широкий спектр применений в телеприсутствии , дополненной реальности , автомобильной инженерии и, конечно, во многих других областях.

Технология делать то, что вы хотите, существует десятилетиями, и она называется голографией . Проблема с обычными фотографическими датчиками и дисплеями состоит в том, что они записывают / воспроизводят только амплитудную информацию о свете. Например, чтобы узнать, под каким углом пришел луч, вам также необходимо записать информацию о фазе света. Это именно то, что делает голография.

На изображении, показанном внизу, вы можете видеть, что два изображения одной голограммы, взятые под разными углами, показывают мышь, как если бы она рассматривалась под разными углами. Есть части сцены, видимые под одним углом, которые даже не видны под другим углом, такие как задняя часть мыши и ветвь позади мыши.

Технологии, необходимые для создания голограмм в реальном времени (сродни камере с экраном), все еще находятся в фазе НИОКР и сейчас находятся в зачаточном состоянии. Пространственные модуляторы света позволяют создавать 2D голограммы в режиме реального времени. Эта группа смогла записать голограмму, используя стандартную камеру 4K с матрицей линз, и использовала пространственные модуляторы света для воспроизведения голограммы в реальном времени (хотя и не особенно хорошо).

Такой экран может быть возможен при использовании технологии, аналогичной метаматериалам, которая известна своим потенциальным применением как «плащ-невидимка». Некоторые компании также утверждают, что достигли этого для военных, но его эффективность сомнительна, потому что весь пиар вокруг него использует неподвижные изображения и макеты.

Хитрость заключается в том, чтобы собрать свет со всех сторон и воспроизвести этот же рассеиватель с другой стороны (или с экрана). Существуют способы сделать вещи «невидимыми» для некоторых длин волн, используя рефракцию, чтобы изгибать электромагнитные волны вокруг центрального объекта, но маловероятно, что это сработает для произвольно размещенного «экрана», если вы не можете захватить вход с помощью пучка волоконной оптики и каким-то образом воспроизвести его точно на другом конце (без «скручивания» исходящего разброса).

Все это кажется довольно туманным и слишком недоразвитым для практического применения, которое вы ищете здесь. Вероятно, лучшее, что вы могли бы достичь, - это линзовый 3D-экран с отслеживанием головы / глаз, чтобы он мог манипулировать изображением в соответствии с относительным положением экрана / головы.

Насколько я знаю, это будет работать только для одного человека одновременно с современными технологиями. Затем входные данные должны быть обработаны в трехмерную сцену, чтобы ее можно было повторно отобразить с других точек зрения. Эта технология достаточно развита, и существует множество технологий, начиная от чисто видимой съемки на основе камеры с программной обработкой и заканчивая активными камерами 3D-сканирования, которые объединяют несколько активных и пассивных входов. В качестве альтернативы можно использовать плотно упакованную двумерную матрицу камер и выбрать две подходящие для соответствия относительной ориентации головного экрана. Их полем зрения все равно придется манипулировать в соответствии с расстоянием между головным экраном, что, скорее всего, будет проще сделать в цифровом виде, обрезая и масштабируя изображение с широкоугольного объектива.

Передача каждого отдельного фотона невозможна, учитывая количество вычислений, которое потребуется, но технология сбора некоторой информации о направлении входящего света уже существует и используется в камере Lytro «световое поле».

Насколько мне известно, соответствующего дисплея светового поля не существует. В системе Lytro используется обычный дисплей с постобработкой, который позволяет настроить фокус, глубину резкости и т. Д. После того, как была сделана фотография.

3D камеры

3D-камеры, которые состоят из двух камер друг от друга, чтобы обеспечить восприятие глубины, существуют уже давно. Единственный аргумент состоит в том, что показать его человеческим глазам так, как их может понять мозг, может быть сложно. Большинство усилий сегодня сосредоточены на том, чтобы показывать только одно изображение каждому глазу, и позволяют мозгу сосредоточиться на синхронизации изображений в одно связное повествование.

Проблема в том, что вам нужен дисплей очень близко к глазам или пара поляризованных очков.