Адаптация аффинной формы - Affine shape adaptation

Обнаружение функции
Обнаружение края
Canny Deriche Дифференциальный Собель Prewitt Робертс Кросс
Обнаружение углов
Оператор Харриса Ши и Томази Кривизна кривой уровня Меры силы гессенской особенности СЬЮЗЕН БЫСТРЫЙ
Обнаружение BLOB-объектов
Лапласиан Гаусса (LoG) Разница гауссианов (DoG) Определитель Гессе (DoH) Максимально устойчивые экстремальные области PCBR
Обнаружение гребня
Преобразование Хафа
Преобразование Хафа Обобщенное преобразование Хафа
Структурный тензор
Структурный тензор Обобщенный структурный тензор
Обнаружение аффинно-инвариантных признаков
Адаптация аффинной формы Харрис аффинный Гессенское аффинное
Описание функции
ПРОСЕЯТЬ СЕРФ GLOH БОРЬБА
Масштабировать пространство
Аксиомы масштабного пространства Детали реализации Пирамиды
v т е

Адаптация аффинной формы - это методология итеративной адаптации формы сглаживающих ядер в аффинной группе сглаживающих ядер к локальной структуре изображения в области окрестности конкретной точки изображения. Эквивалентно адаптация аффинной формы может быть выполнена путем итеративного деформирования локального фрагмента изображения с помощью аффинных преобразований при применении осесимметричного фильтра к искаженным фрагментам изображения. При условии, что этот итерационный процесс сходится, полученная фиксированная точка будет аффинно-инвариантной . В области компьютерного зрения эта идея использовалась для определения аффинно-инвариантных операторов точки интереса, а также методов анализа аффинно-инвариантной текстуры.

Аффинно-адаптированные операторы точки интереса

Точки интереса, полученные с помощью адаптированного к масштабу лапласовского детектора капель или многомасштабного углового детектора Харриса с автоматическим выбором масштаба, инвариантны к сдвигам, поворотам и равномерному изменению масштаба в пространственной области. Однако изображения, входящие в систему компьютерного зрения, также подвержены перспективным искажениям. Чтобы получить точки интереса, которые более устойчивы к перспективным преобразованиям, естественным подходом является разработка детектора признаков, инвариантного к аффинным преобразованиям .

Аффинная инвариантность может быть достигнута из измерений той же многомасштабной матрицы второго момента с окнами, которая используется в многомасштабном операторе Харриса, при условии, что мы расширим концепцию регулярного масштабного пространства, полученную сверткой с вращательно-симметричными гауссовыми ядрами, до аффинной гауссовой шкалы. пространство, полученное с помощью адаптированных по форме гауссовых ядер (Lindeberg 1994, раздел 15.3; Lindeberg and Garding 1997). Для двумерного изображения , пусть и пусть будет положительно определенная матрица 2 × 2. Тогда неоднородное гауссово ядро ​​можно определить как ${\ displaystyle \ mu}$${\ displaystyle I}$${\ displaystyle {\ bar {x}} = (x, y) ^ {T}}$${\ displaystyle \ Sigma _ {t}}$

${\ displaystyle g ({\ bar {x}}; \ Sigma) = {\ frac {1} {2 \ pi {\ sqrt {\ operatorname {det} \ Sigma _ {t}}}}} e ^ {- {\ bar {x}} \ Sigma _ {t} ^ {- 1} {\ bar {x}} / 2}}$

и для любого входного изображения аффинное гауссово масштабное пространство - это трехпараметрическое масштабное пространство, определяемое как ${\ displaystyle I_ {L}}$

${\ displaystyle L ({\ bar {x}}; \ Sigma _ {t}) = \ int _ {\ bar {xi}} I_ {L} (x- \ xi) \, g ({\ bar {\ xi}}; \ Sigma _ {t}) \, d {\ bar {\ xi}}.}.$

Затем введите аффинное преобразование, где - матрица 2 × 2, и определите преобразованное изображение как ${\ displaystyle \ eta = B \ xi}$${\ displaystyle B}$${\ displaystyle I_ {R}}$

${\ Displaystyle I_ {L} ({\ bar {\ xi}}) = I_ {R} ({\ bar {\ eta}})}$.

Затем, аффинные масштабно-пространственные представления и из и , соответственно, связаны в соответствии с ${\ displaystyle L}$${\ displaystyle R}$${\ displaystyle I_ {L}}$${\ displaystyle I_ {R}}$

${\ Displaystyle L ({\ bar {\ xi}}, \ Sigma _ {L}) = R ({\ bar {\ eta}}, \ Sigma _ {R})}$

при условии, что матрицы аффинной формы и связаны согласно ${\ displaystyle \ Sigma _ {L}}$${\ displaystyle \ Sigma _ {R}}$

${\ Displaystyle \ Sigma _ {R} = B \ Sigma _ {L} B ^ {T}}$.

Не обращая внимания на математические детали, которые, к сожалению, становятся несколько техническими, если кто-то стремится к точному описанию происходящего, важно отметить, что аффинное гауссовское масштабное пространство замкнуто относительно аффинных преобразований .

Если мы, учитывая обозначения, а также локальную матрицу формы и матрицу интегрированной формы , введем аффинно адаптированную многомасштабную матрицу второго момента в соответствии с ${\ Displaystyle \ набла L = (L_ {x}, L_ {y}) ^ {T}}$${\ displaystyle \ Sigma _ {t}}$${\ displaystyle \ Sigma _ {s}}$

${\ displaystyle \ mu _ {L} ({\ bar {x}}; \ Sigma _ {t}, \ Sigma _ {s}) = g ({\ bar {x}} - {\ bar {\ xi} }; \ Sigma _ {s}) \, \ left (\ nabla _ {L} ({\ bar {\ xi}}; \ Sigma _ {t}) \ nabla _ {L} ^ {T} ({\ бар {\ xi}}; \ Sigma _ {t}) \ right)}$

можно показать, что при любом аффинном преобразовании аффинно-адаптированная многомасштабная матрица второго момента преобразуется в соответствии с ${\ displaystyle {\ bar {q}} = B {\ bar {p}}}$

${\ displaystyle \ mu _ {L} ({\ bar {p}}; \ Sigma _ {t}, \ Sigma _ {s}) = B ^ {T} \ mu _ {R} ({\ bar {q }}; B \ Sigma _ {t} B ^ {T}, B \ Sigma _ {s} B ^ {T}) B}$.

Опять же, не обращая внимания на несколько беспорядочные технические детали, важное сообщение здесь состоит в том, что, учитывая соответствие между точками изображения и , аффинное преобразование может быть оценено по измерениям многомасштабных матриц второго момента и в двух областях.${\ displaystyle {\ bar {p}}}$${\ displaystyle {\ bar {q}}}$${\ displaystyle B}$${\ displaystyle \ mu _ {L}}$${\ displaystyle \ mu _ {R}}$

Важным следствием этого исследования является то, что если мы сможем найти аффинное преобразование , умноженное на константу единичной матрицы, то мы получим неподвижную точку, инвариантную для аффинных преобразований (Lindeberg 1994, раздел 15.4; Lindeberg and Garding 1997). Для практической реализации это свойство часто может быть достигнуто одним из двух основных способов. Первый подход основан на преобразованиях сглаживающих фильтров и состоит из: ${\ displaystyle B}$${\ displaystyle \ mu _ {R}}$

• оценка матрицы второго момента в области изображения,${\ displaystyle \ mu}$
• определение нового адаптированного сглаживающего ядра с ковариационной матрицей, пропорциональной ,${\ displaystyle \ mu ^ {- 1}}$
• сглаживание исходного изображения с помощью ядра сглаживания адаптированной формы, и
• повторение этой операции до тех пор, пока разница между двумя последовательными матрицами второго момента не станет достаточно малой.

Второй подход основан на искажениях в области изображения и подразумевает:

• оценка в области изображения,${\ displaystyle \ mu}$
• оценка локального аффинного преобразования, пропорционального где обозначает матрицу квадратного корня из ,${\ displaystyle {\ hat {B}} = \ mu ^ {1/2}}$${\ displaystyle \ mu ^ {1/2}}$${\ displaystyle \ mu}$
• искажение входного изображения аффинным преобразованием и${\ displaystyle {\ hat {B}} ^ {- 1}}$
• повторение этой операции до тех пор, пока не станет достаточно близким к постоянному, умноженному на единичную матрицу.${\ displaystyle \ mu}$

Этот общий процесс называется адаптацией аффинной формы (Lindeberg and Garding 1997; Baumberg 2000; Mikolajczyk and Schmid 2004; Tuytelaars and van Gool 2004; Ravela 2004; Lindeberg 2008). В идеальном непрерывном случае оба подхода математически эквивалентны. Однако на практике первый подход, основанный на фильтре, обычно более точен при наличии шума, в то время как второй подход, основанный на искажении, обычно быстрее.

На практике описанный здесь процесс адаптации аффинной формы часто сочетается с автоматическим выбором шкалы обнаружения точек интереса, как описано в статьях об обнаружении больших двоичных объектов и обнаружении углов , для получения точек интереса, инвариантных для полной аффинной группы, включая изменения масштаба. Помимо широко используемого многомасштабного оператора Харриса, эта адаптация аффинной формы также может применяться к другим типам операторов точки интереса, таким как оператор Лапласа / разности гауссовских капель и определитель гессиана (Lindeberg 2008). Адаптация аффинной формы также может использоваться для распознавания аффинно-инвариантной текстуры и аффинно-инвариантной сегментации текстуры.

Тесно связано с понятием адаптации аффинной формы понятие аффинной нормализации , которое определяет аффинную инвариантную систему отсчета, как далее описано в Lindeberg (2013a, b, 2021: Приложение I.3), так что любое измерение изображения, выполняемое в аффинной инвариантная система отсчета аффинно инвариантна.

Смотрите также

• Обнаружение BLOB-объектов
• Обнаружение углов
• Функция Гаусса
• Детектор аффинной области Харриса
• Детектор аффинной области Гессе
• Масштабировать пространство

использованная литература

• А. Баумберг (2000). «Надежное сопоставление функций в широко разделенных представлениях». Труды конференции IEEE по компьютерному зрению и распознаванию образов . С. I: 1774–1781. DOI : 10,1109 / CVPR.2000.855899 .
• Т. Линдеберг (1994). Теория масштабного пространства в компьютерном зрении . Springer. ISBN 0-7923-9418-6.
• Т. Линдеберг и Дж. Гардинг (1997). «Адаптированное к форме сглаживание при оценке трехмерных сигналов глубины от аффинных искажений локальной двумерной структуры» . Вычисления изображений и зрения . 15 (6): 415–434. DOI : 10.1016 / S0262-8856 (97) 01144-X .
• Т. Линдеберг (2008). «Масштаб-пространство» . Энциклопедия компьютерных наук и инженерии ( Бенджамин Ва , изд.), John Wiley and Sons . IV . С. 2495–2504. DOI : 10.1002 / 9780470050118.ecse609 . ISBN 978-0470050118.
• Т. Линдеберг (2013а). «Инвариантность зрительных операций на уровне рецептивных полей» . PLOS ONE . 8 (7): e66990: 1–33. arXiv : 1210.0754 . Bibcode : 2013PLoSO ... 866990L . DOI : 10.1371 / journal.pone.0066990 . PMC  3716821 . PMID  23894283 .
• Т. Линдеберг (2013b). «Обобщенная аксиоматическая теория масштабного пространства» . Достижения в области визуализации и электронной физики . 178 (7): 1–96. DOI : 10.1016 / B978-0-12-407701-0.00001-7 . ISBN 9780124077010.
• Т. Линдеберг (2021). «Нормативная теория зрительных рецептивных полей» . Гелион . 7 (1): e05897. DOI : 10.1016 / j.heliyon.2021.e05897 . PMC  7820928 . PMID  33521348 .
• К. Миколайчик, К. и К. Шмид (2004). "Масштабные и аффинно-инвариантные детекторы точки интереса" (PDF) . Международный журнал компьютерного зрения . 60 (1): 63–86. DOI : 10,1023 / Б: VISI.0000027790.02288.f2 . S2CID  1704741 . Интеграция многомасштабного оператора Харриса с методологией автоматического выбора масштаба, а также с адаптацией аффинной формы.
• Т. Туйтелаарс и Л. ван Гул К. (2004). «Согласование широко разделенных представлений на основе аффинно-инвариантных областей» (PDF) . Международный журнал компьютерного зрения . 59 (1): 63–86. DOI : 10,1023 / Б: VISI.0000020671.28016.e8 . S2CID  5107897 . Архивировано из оригинального (PDF) 12 июня 2010 года.