Камера событий - Event camera

Событийная камера , также известная как нейроморфная камера , силиконовая сетчатка или датчик динамического зрения , представляет собой датчик изображения, который реагирует на локальные изменения яркости. Камеры событий не захватывают изображения с использованием затвора, как это делают обычные камеры . Вместо этого каждый пиксель внутри камеры событий работает независимо и асинхронно, сообщая об изменениях яркости по мере их возникновения, а в противном случае - молчит. Современные камеры для событий имеют временное разрешение в микросекундах, динамический диапазон 120 дБ, а также меньше недоэкспонирования / передержки и размытости при движении по сравнению с кадровыми камерами.

Функциональное описание

Камеры событий содержат пиксели, которые независимо реагируют на изменения яркости по мере их появления. Каждый пиксель хранит эталонный уровень яркости и постоянно сравнивает его с текущим уровнем яркости. Если разница в яркости превышает предварительно установленный порог, этот пиксель сбрасывает свой опорный уровень и генерирует событие: дискретный пакет информации, содержащий адрес пикселя и временную метку. События также могут содержать полярность (увеличение или уменьшение) изменения яркости или мгновенное измерение текущего уровня освещенности. Таким образом, камеры событий выводят асинхронный поток событий, инициированных изменениями освещения сцены.

Сравнение данных, полученных с камеры событий и обычной камеры.

^{* Указывает временное разрешение, поскольку человеческие глаза и камеры событий не выводят кадры.}

Типы

Хотя все камеры событий реагируют на локальные изменения яркости, существует несколько вариантов. Датчики временного контраста (такие как новаторский DVS (датчик динамического зрения) или sDVS (чувствительный-DVS)) создают события, которые указывают полярность (увеличение или уменьшение яркости), в то время как датчики временного изображения показывают мгновенную интенсивность с каждым событием. DAVIS (датчик изображения с динамическими и активными пикселями) содержит датчик активного пикселя с глобальным затвором (APS) в дополнение к датчику динамического зрения (DVS), который использует тот же массив фотосенсоров. Таким образом, он имеет возможность создавать кадры изображения вместе с событиями. Многие камеры событий дополнительно оснащены инерциальным измерительным блоком (IMU).

Алгоритмы

Реконструкция изображения

Пешеход бежит ночью перед фарами машины. Слева: изображение, снятое обычной камерой, демонстрирует сильное размытие при движении и недодержку. Справа: изображение, реконструированное путем объединения левого изображения с событиями с камеры событий.

Реконструкция изображения по событиям может создавать изображения и видео с высоким динамическим диапазоном, высоким временным разрешением и минимальным размытием движения. Реконструкция изображения может быть достигнута с использованием временного сглаживания, например, фильтра верхних частот или дополнительного фильтра. Альтернативные методы включают оптимизацию и оценку градиента с последующим интегрированием Пуассона .

Пространственные свертки

Концепция пространственной свертки, управляемой событиями, была первоначально постулирована в 1999 году (до изобретения DVS), но позже была обобщена в рамках проекта ЕС CAVIAR (во время которого была изобретена DVS) путем последовательного проецирования произвольного ядра свертки вокруг координаты события. в массиве интегрированных пикселей. Расширение до многоядерных сверток, управляемых событиями, позволяет создавать управляемые событиями глубокие сверточные нейронные сети.

использованная литература