Бинокулярное несоответствие - Binocular disparity

Бинокулярное несоответствие относится к разнице в расположении изображения объекта, видимого левым и правым глазом , в результате горизонтального разделения глаз ( параллакса ). Мозг использует бинокулярное неравенство для извлечения информации о глубине из двумерных изображений сетчатки в стереопсисе . В компьютерном зрении бинокулярное несоответствие относится к разнице в координатах одинаковых объектов в двух стереоизображениях.

Подобное несоответствие может использоваться при дальномере с помощью дальномера совпадений для определения расстояния и / или высоты до цели. В астрономии несоответствие между различными местоположениями на Земле может использоваться для определения различных небесных параллаксов , а орбита Земли может использоваться для звездных параллаксов .

Определение

Рисунок 1. Определение бинокулярной диспаратности (далеко и близко).

Глаза человека разделены по горизонтали примерно на 50–75 мм ( межзрачковое расстояние ) в зависимости от каждого человека. Таким образом, каждый глаз имеет немного разный взгляд на окружающий мир. Это легко увидеть, поочередно закрывая один глаз, глядя на вертикальный край. Бинокулярное несоответствие можно наблюдать по очевидному горизонтальному смещению вертикального края между обоими изображениями.

В любой момент линии взгляда двух глаз встречаются в одной точке пространства. Эта точка в пространстве проецируется в одно и то же место (то есть в центр) сетчатки обоих глаз. Однако из-за разных точек обзора, наблюдаемых левым и правым глазом, многие другие точки в пространстве не попадают в соответствующие места сетчатки. Визуальное бинокулярное несоответствие определяется как разница между точкой проецирования двух глаз и обычно выражается в градусах как угол обзора .

Термин «бинокулярная диспаратность» относится к геометрическим измерениям, выполненным вне глаза. Несоответствие изображений на реальной сетчатке зависит от внутренних факторов глаза, особенно от расположения узловых точек, даже если поперечное сечение сетчатки представляет собой идеальный круг. Несоответствие на сетчатке соответствует бинокулярному несоответствию при измерении в градусах, в то время как сильно отличается, если измеряется как расстояние, из-за сложной структуры внутри глаза.

Рис. 1. Полный черный круг - это точка фиксации. Синий объект находится ближе к наблюдателю. Следовательно, он имеет "близкое" несоответствие d n . Объекты, расположенные более далеко (зеленые), соответственно, имеют «дальнее» несоответствие d f . Бинокулярное несоответствие - это угол между двумя линиями проекции. Одна из них - это реальная проекция объекта на действительную точку проекции. Другой - воображаемая проекция, проходящая через узловую точку точки фиксации.

В компьютерном зрении бинокулярная диспаратность рассчитывается по стереоизображениям, снятым с набора стереокамер. Переменное расстояние между этими камерами, называемое базовой линией, может влиять на несоответствие конкретной точки на их соответствующей плоскости изображения. По мере увеличения базовой линии диспаратность увеличивается из-за большего угла, необходимого для наведения прицела на точку. Однако в компьютерном зрении бинокулярное несоответствие рассматривается как разность координат точки между правым и левым изображениями, а не как угол обзора. Единицы измерения обычно измеряются в пикселях.

Обман нейронов с помощью 2D-изображений

Рисунок 2. Моделирование отклонения от глубины в плоскости. (относится к рисунку 1)

Клетки головного мозга ( нейроны ) в части мозга, ответственной за обработку зрительной информации, поступающей из сетчатки ( первичная зрительная кора ), могут обнаруживать наличие несоответствия в поступающей от глаз информации. В частности, эти нейроны будут активны, если объект с «их» особым несоответствием находится в пределах той части поля зрения, к которой они имеют доступ ( рецептивное поле ).

Исследователи, изучающие точные свойства этих нейронов в отношении несоответствия, представляют зрительные стимулы с различным несоответствием клеткам и смотрят, активны они или нет. Одна из возможностей предъявления стимулов с разным неравенством - это размещать объекты на разной глубине перед глазами. Однако недостаток этого метода может быть недостаточно точным для объектов, расположенных дальше, поскольку они имеют меньшее несоответствие, в то время как объекты, расположенные ближе, будут иметь большее несоответствие. Вместо этого нейробиологи используют альтернативный метод, схематически изображенный на рисунке 2.

Рисунок 2: Несоответствие объекта с глубиной, отличной от глубины точки фиксации, может быть альтернативно получено путем представления изображения объекта одному глазу и смещенной вбок версии того же изображения другому глазу. Полный черный круг - точка фиксации. Предметы разной глубины размещаются по линии фиксации левого глаза. Такое же несоответствие, возникающее из-за смещения объекта по глубине (закрашенные цветные кружки), также может быть получено за счет бокового смещения объекта на постоянной глубине на изображении, которое видит один глаз (черные кружки с цветными полями). Обратите внимание, что для близких диспропорций поперечный сдвиг должен быть больше, чтобы соответствовать той же глубине по сравнению с дальними диспропорциями. Это то, что нейробиологи обычно делают со случайными точечными стимулами для изучения селективности диспаратности нейронов, поскольку латеральное расстояние, необходимое для проверки диспропорций, меньше расстояний, требуемых при использовании тестов глубины. Этот принцип также применялся в иллюзиях автостереограммы .

Вычисление неравенства с использованием цифровых стереоизображений

Несоответствие характеристик двух стереоизображений обычно вычисляется как сдвиг влево элемента изображения при просмотре на правом изображении. Например, единственная точка, которая появляется в координате x t (измеряется в пикселях ) на левом изображении, может присутствовать в координате x t - 3 на правом изображении. В этом случае несоответствие в этом месте на правом изображении будет 3 пикселя.

Стереоизображения не всегда могут быть правильно выровнены, чтобы можно было быстро вычислить несоответствие. Например, набор камер можно немного повернуть от уровня. Посредством процесса, известного как исправление изображения , оба изображения поворачиваются, чтобы учесть несоответствия только в горизонтальном направлении (т. Е. Нет несоответствия в координатах изображения y ). Это свойство также может быть достигнуто путем точного выравнивания стереокамер перед захватом изображения.

Компьютерный алгоритм

После исправления проблема соответствия может быть решена с помощью алгоритма, который сканирует как левое, так и правое изображения на предмет совпадения характеристик изображения. Распространенным подходом к этой проблеме является формирование меньшего участка изображения вокруг каждого пикселя в левом изображении. Эти участки изображения сравниваются со всеми возможными несоответствиями в правом изображении путем сравнения соответствующих им участков изображения. Например, для несоответствия 1 фрагмент на левом изображении будет сравниваться с фрагментом аналогичного размера на правом, сдвинутым влево на один пиксель. Сравнение между этими двумя фрагментами может быть выполнено путем получения вычислительной меры по одному из следующих уравнений, которые сравнивают каждый из пикселей в фрагментах. Для всех следующих уравнений L и R относятся к левому и правому столбцам, а r и c относятся к текущей строке и столбцу любого из исследуемых изображений. d относится к несоответствию правильного изображения.

  • Нормализованная корреляция:
  • Сумма квадратов разностей:
  • Сумма абсолютных отличий:

Несоответствие с наименьшим вычисленным значением с использованием одного из вышеперечисленных методов считается несоответствием для характеристики изображения. Этот самый низкий балл указывает на то, что алгоритм нашел наилучшее совпадение соответствующих функций на обоих изображениях.

Описанный выше метод представляет собой алгоритм поиска методом перебора . При больших размерах фрагментов и / или изображений этот метод может занять очень много времени, поскольку пиксели постоянно пересматриваются, чтобы найти самый низкий показатель корреляции. Однако этот метод также включает в себя ненужное повторение, поскольку многие пиксели перекрываются. Более эффективный алгоритм предполагает запоминание всех значений из предыдущего пикселя. Еще более эффективный алгоритм включает запоминание сумм столбцов из предыдущей строки (в дополнение к запоминанию всех значений из предыдущего пикселя). Методы сохранения предыдущей информации могут значительно повысить алгоритмическую эффективность этого процесса анализа изображений.

Использование несоответствия изображений

Информация о несоответствии может быть использована при дальнейшем извлечении информации из стереоизображений. Один случай, когда несоответствие наиболее полезно, - это расчет глубины / расстояния. Неравномерность и расстояние до камер обратно пропорциональны. По мере удаления от камер неравенство уменьшается. Это позволяет воспринимать глубину стереоизображения. Используя геометрию и алгебру, точки, которые появляются на двухмерных стереоизображениях, могут быть отображены как координаты в трехмерном пространстве.

Эта концепция особенно полезна для навигации. Например, марсоход Mars Exploration Rover использует аналогичный метод для сканирования местности на предмет препятствий. Марсоход делает пару изображений с помощью своих стереоскопических навигационных камер, и выполняются расчеты несоответствия для обнаружения возвышенных объектов (например, валунов). Кроме того, данные о местоположении и скорости могут быть извлечены из последующих стереоизображений путем измерения смещения объектов относительно марсохода. В некоторых случаях это лучший источник информации такого типа, поскольку датчики энкодера в колесах могут быть неточными из-за проскальзывания шин.

В популярной культуре

Бинокулярное неравенство является предпосылкой для наброска из фильма «Мир Уэйна», в котором Уэйн, лежащий в постели в роли Кассандры, персонажа Тии Каррере , сидит над ним, сравнивает соответствующие изображения из его левого и правого глаза, отмечая, что есть что сказав «Камера 1 ... Камера 2 ... Камера 1 ... Камера 2».

Смотрите также

Рекомендации

  1. Перейти ↑ Qian, N., Binocular Disparity and the Perception of Depth , Neuron, 18, 359–368, 1997.
  2. ^ Гонсалес, Ф. и Перес, Р., Нейронные механизмы, лежащие в основе стереоскопического зрения , Prog Neurobiol, 55 (3), 191–224, 1998.
  3. ^ a b Линда Г. Шапиро и Джордж К. Стокман (2001). Компьютерное зрение. Прентис Холл, 371–409. ISBN  0-13-030796-3 .
  4. ^ "Лаборатория компьютерного зрения". JPL.NASA.GOV. Лаборатория реактивного движения / НАСА, nd Web. 5 июня 2011 г. < [1] >.
  5. ^ «Космический корабль: наземные операции: вездеход». JPL.NASA.GOV. Лаборатория реактивного движения / НАСА, nd Web. 5 июня 2011 г. http://marsrovers.jpl.nasa.gov/mission/spacecraft_rover_eyes.html .