Взаимная корреляция - Cross-correlation

Часть серии по статистике
Корреляция и ковариация
Для случайных векторов Матрица автокорреляции Матрица взаимной корреляции Матрица автоковариации Матрица кросс-ковариации
Для случайных процессов Автокорреляционная функция Функция взаимной корреляции Автоковариационная функция Кросс-ковариационная функция
Для детерминированных сигналов Автокорреляционная функция Функция взаимной корреляции Автоковариационная функция Кросс-ковариационная функция
v т е

Визуальное сравнение свертки , взаимной корреляции и автокорреляции . Для операций с функцией f и при условии, что высота f равна 1,0, значение результата в 5 различных точках указывается заштрихованной областью под каждой точкой. Кроме того, вертикальная симметрия f является причиной и идентичны в этом примере.${\ displaystyle f * g}$${\ displaystyle f \ star g}$

В обработке сигналов , кросс-корреляции является мерой сходства двух рядов в зависимости от перемещения одной относительно другой. Это также известно как скользящее точечное произведение или скользящее внутреннее произведение . Обычно он используется для поиска более короткого известного признака в длинном сигнале. Он может применяться в распознавании образов , анализе отдельных частиц , электронной томографии , усреднении , криптоанализе и нейрофизиологии . Взаимная корреляция по своей природе похожа на свертку двух функций. В автокорреляции , которая представляет собой взаимную корреляцию сигнала с самим собой, всегда будет пик с нулевым запаздыванием, и его размер будет равен энергии сигнала.

В вероятности и статистики , термин кросс-корреляции относится к корреляции между записями двух случайных векторов и , в то время как корреляции случайного вектора являются корреляции между вхождений собой, те , образующие корреляционную матрицу из . Если каждый из и является скаляром случайной величиной , которая реализуется многократно в временных рядах , а затем корреляции различных временных экземпляров известны как автокорреляции из и поперечных корреляций с через время являются временным кроссом-корреляцией. В вероятности и статистике определение корреляции всегда включает стандартизирующий фактор таким образом, чтобы корреляции имели значения от -1 до +1. ${\ displaystyle \ mathbf {X}}$${\ displaystyle \ mathbf {Y}}$${\ displaystyle \ mathbf {X}}$${\ displaystyle \ mathbf {X}}$${\ displaystyle \ mathbf {X}}$${\ displaystyle \ mathbf {X}}$${\ displaystyle \ mathbf {Y}}$${\ displaystyle \ mathbf {X}}$${\ displaystyle \ mathbf {X}}$${\ displaystyle \ mathbf {X}}$${\ displaystyle \ mathbf {Y}}$

Если и являются двумя независимыми случайными величинами с функциями плотности вероятности и , соответственно, то плотность вероятности различия формально задается взаимной корреляцией (в смысле обработки сигналов) ; однако эта терминология не используется в теории вероятностей и статистике. Напротив, свертка (эквивалентная взаимной корреляции и ) дает функцию плотности вероятности суммы . ${\ displaystyle X}$${\ displaystyle Y}$ ${\ displaystyle f}$${\ displaystyle g}$${\ displaystyle YX}$${\ displaystyle f \ star g}$ ${\ displaystyle f * g}$${\ displaystyle f (t)}$${\ displaystyle g (-t)}$${\ displaystyle X + Y}$

Взаимная корреляция детерминированных сигналов

Для непрерывных функций и взаимная корреляция определяется как: ${\ displaystyle f}$${\ displaystyle g}$

${\ Displaystyle (е \ звезда г) (\ тау) \ \ треугольник q \ int _ {- \ infty} ^ {\ infty} {\ overline {е (т)}} г (т + \ тау) \, dt}$

( Уравнение 1 )

что эквивалентно

${\ Displaystyle (е \ звезда г) (\ тау) \ \ треугольник \ int _ {- \ infty} ^ {\ infty} {\ overline {е (т- \ тау)}} г (т) \, dt}$

где обозначает комплексное сопряжение с , и это смещение, также известный как лаг (особенность в меньшей происходит в меньшей ). ${\ Displaystyle {\ overline {е (т)}}}$${\ displaystyle f (t)}$${\ Displaystyle \ тау}$${\ displaystyle f}$${\ displaystyle t}$${\ displaystyle g}$${\ Displaystyle т + \ тау}$

Если обе и являются непрерывными периодическими функциями периода , интегрирование от до заменяется интегрированием по любому интервалу длины : ${\ displaystyle f}$${\ displaystyle g}$${\ displaystyle T}$${\ displaystyle - \ infty}$${\ displaystyle \ infty}$${\ displaystyle [t_ {0}, t_ {0} + T]}$${\ displaystyle T}$

${\ Displaystyle (е \ звезда г) (\ тау) \ \ треугольник q \ int _ {т_ {0}} ^ {т_ {0} + T} {\ overline {е (т)}} г (т + \ тау) \, dt}$

( Уравнение 2 )

что эквивалентно

${\ Displaystyle (е \ звезда г) (\ тау) \ \ треугольник q \ int _ {т_ {0}} ^ {т_ {0} + Т} {\ overline {е (т- \ тау)}} г (т ) \, dt}$

Точно так же для дискретных функций взаимная корреляция определяется как:

${\ Displaystyle (е \ звезда г) [п] \ \ треугольник \ сумма _ {м = - \ infty} ^ {\ infty} {\ overline {е [м]}} г [м + п]}$

( Уравнение 3 )

что эквивалентно

${\ Displaystyle (е \ звезда г) [п] \ \ треугольник \ сумма _ {м = - \ infty} ^ {\ infty} {\ overline {е [мин]}} г [м]}$.

Для конечных дискретных функций (круговая) взаимная корреляция определяется как: ${\ displaystyle f, g \ in \ mathbb {C} ^ {N}}$

${\ Displaystyle (е \ звезда г) [п] \ \ треугольник \ сумма _ {м = 0} ^ {N-1} {\ overline {е [м]}} г [(м + п) _ {{\ текст {mod}} ~ N}]}$

( Уравнение 4 )

что эквивалентно

${\ Displaystyle (е \ звезда г) [п] \ \ треугольник \ сумма _ {м = 0} ^ {N-1} {\ overline {f [(mn) _ {{\ text {mod}} ~ N} ]}} г [м]}$.

Для конечных дискретных функций , ядро кросс-корреляции определяется как: ${\ displaystyle f \ in \ mathbb {C} ^ {N}}$${\ displaystyle g \ in \ mathbb {C} ^ {M}}$

${\ Displaystyle (е \ звезда г) [п] \ \ треугольник \ сумма _ {м = 0} ^ {N-1} {\ overline {f [m]}} K_ {g} [(м + п) _ {{\ text {mod}} ~ N}]}$

( Уравнение 5 )

где - вектор ядерных функций, а - аффинное преобразование . ${\ displaystyle K_ {g} = [k (g, T_ {0} (g)), k (g, T_ {1} (g)), \ dots, k (g, T_ {N-1} (g ))]}$${\ Displaystyle к (\ cdot, \ cdot) \ двоеточие \ mathbb {C} ^ {M} \ times \ mathbb {C} ^ {M} \ to \ mathbb {R}}$${\ Displaystyle T_ {я} (\ cdot) \ двоеточие \ mathbb {C} ^ {M} \ to \ mathbb {C} ^ {M}}$

В частности, это может быть преобразование кругового преобразования, преобразование поворота или преобразование масштаба и т. Д. Взаимная корреляция ядра расширяет взаимную корреляцию от линейного пространства до пространства ядра. Взаимная корреляция эквивалентна переводу; взаимная корреляция ядра эквивалентна любым аффинным преобразованиям, включая перевод, вращение, масштабирование и т. д. ${\ Displaystyle Т_ {я} (\ cdot)}$

Объяснение

В качестве примера рассмотрим два действительных функций и отличаются только неизвестным сдвигом вдоль оси х. Можно использовать кросс-корреляцию, чтобы определить, на сколько нужно сдвинуть по оси x, чтобы сделать его идентичным . Формула по существу перемещает функцию по оси x, вычисляя интеграл своего продукта в каждой позиции. Когда функции совпадают, значение максимизируется. Это связано с тем, что когда пики (положительные области) выровнены, они вносят большой вклад в интеграл. Точно так же, когда впадины (отрицательные области) выравниваются, они также вносят положительный вклад в интеграл, потому что произведение двух отрицательных чисел положительно. ${\ displaystyle f}$${\ displaystyle g}$${\ displaystyle g}$${\ displaystyle f}$${\ displaystyle g}$${\ Displaystyle (е \ звезда г)}$

Анимация, визуально показывающая, как вычисляется взаимная корреляция

С помощью комплексных функций и , сопряженное с гарантирует, что выровненные пики (или выровненные впадины) с мнимыми компонентами будут положительно влиять на интеграл. ${\ displaystyle f}$${\ displaystyle g}$${\ displaystyle f}$

В эконометрике кросс-корреляция с запаздыванием иногда называется кросс-автокорреляцией.

Характеристики

Взаимная корреляция случайных векторов

Определение

Для случайных векторов и , каждый из которых содержит случайные элементы , чьи ожидаемое значение и дисперсию существует, кросс-корреляционная матрица из и определяются ${\ Displaystyle \ mathbf {X} = (X_ {1}, \ ldots, X_ {m}) ^ {\ rm {T}}}$${\ Displaystyle \ mathbf {Y} = (Y_ {1}, \ ldots, Y_ {n}) ^ {\ rm {T}}}$${\ displaystyle \ mathbf {X}}$${\ displaystyle \ mathbf {Y}}$

${\ displaystyle \ operatorname {R} _ {\ mathbf {X} \ mathbf {Y}} \ треугольник \ \ operatorname {E} \ left [\ mathbf {X} \ mathbf {Y} ^ {\ rm {T}} \Правильно]}$

( Уравнение 3 )

и имеет размеры . Написано покомпонентно: ${\ Displaystyle м \ раз п}$

${\ displaystyle \ operatorname {R} _ {\ mathbf {X} \ mathbf {Y}} = {\ begin {bmatrix} \ operatorname {E} [X_ {1} Y_ {1}] & \ operatorname {E} [ X_ {1} Y_ {2}] & \ cdots & \ operatorname {E} [X_ {1} Y_ {n}] \\\\\ operatorname {E} [X_ {2} Y_ {1}] & \ operatorname {E} [X_ {2} Y_ {2}] & \ cdots & \ operatorname {E} [X_ {2} Y_ {n}] \\\\\ vdots & \ vdots & \ ddots & \ vdots \\\ \\ operatorname {E} [X_ {m} Y_ {1}] & \ operatorname {E} [X_ {m} Y_ {2}] & \ cdots & \ operatorname {E} [X_ {m} Y_ {n} ] \ end {bmatrix}}}$

Случайные векторы и не обязательно должны иметь одинаковую размерность, и любой из них может быть скалярным значением. ${\ displaystyle \ mathbf {X}}$${\ displaystyle \ mathbf {Y}}$

Пример

Например, если и являются случайными векторами, то это матрица, -я запись которой равна . ${\ displaystyle \ mathbf {X} = \ left (X_ {1}, X_ {2}, X_ {3} \ right) ^ {\ rm {T}}}$${\ displaystyle \ mathbf {Y} = \ left (Y_ {1}, Y_ {2} \ right) ^ {\ rm {T}}}$${\ Displaystyle \ OperatorName {R} _ {\ mathbf {X} \ mathbf {Y}}}$${\ displaystyle 3 \ times 2}$${\ displaystyle (я, j)}$${\ displaystyle \ operatorname {E} [X_ {i} Y_ {j}]}$

Определение сложных случайных векторов

Если и являются комплексными случайными векторами , каждый из которых содержит случайные величины, ожидаемое значение и дисперсия которых существуют, матрица взаимной корреляции и определяется как ${\ Displaystyle \ mathbf {Z} = (Z_ {1}, \ ldots, Z_ {m}) ^ {\ rm {T}}}$${\ Displaystyle \ mathbf {W} = (W_ {1}, \ ldots, W_ {n}) ^ {\ rm {T}}}$${\ displaystyle \ mathbf {Z}}$${\ displaystyle \ mathbf {W}}$

${\ displaystyle \ operatorname {R} _ {\ mathbf {Z} \ mathbf {W}} \ треугольник \ \ operatorname {E} [\ mathbf {Z} \ mathbf {W} ^ {\ rm {H}}]}$

где обозначает эрмитово транспонирование . ${\ displaystyle {} ^ {\ rm {H}}}$

Взаимная корреляция случайных процессов

В анализе временных рядов и статистике взаимная корреляция пары случайных процессов - это корреляция между значениями процессов в разное время как функция двух моментов времени. Позвольте быть парой случайных процессов и быть любым моментом времени ( может быть целым числом для процесса с дискретным временем или действительным числом для процесса с непрерывным временем ). Тогда это ценность (или реализация ), произведенная данным запуском процесса в определенный момент времени . ${\ displaystyle (X_ {t}, Y_ {t})}$${\ displaystyle t}$${\ displaystyle t}$${\ displaystyle X_ {t}}$${\ displaystyle t}$

Функция взаимной корреляции

Предположим, что у процесса есть средства и отклонения и во времени для каждого . Тогда определение взаимной корреляции между временами и есть ${\ Displaystyle \ му _ {X} (т)}$${\ Displaystyle \ му _ {Y} (т)}$${\ Displaystyle \ sigma _ {X} ^ {2} (т)}$${\ Displaystyle \ sigma _ {Y} ^ {2} (т)}$${\ displaystyle t}$${\ displaystyle t}$${\ displaystyle t_ {1}}$${\ displaystyle t_ {2}}$

${\ displaystyle \ operatorname {R} _ {XY} (t_ {1}, t_ {2}) \ треугольникq \ \ operatorname {E} \ left [X_ {t_ {1}} {\ overline {Y_ {t_ {2} }}}}\Правильно]}$

( Уравнение 4 )

где - оператор ожидаемого значения . Обратите внимание, что это выражение может быть не определено. ${\ displaystyle \ operatorname {E}}$

Кросс-ковариационная функция

Вычитание среднего перед умножением дает кросс-ковариацию между временами и : ${\ displaystyle t_ {1}}$${\ displaystyle t_ {2}}$

${\ displaystyle \ operatorname {K} _ {XY} (t_ {1}, t_ {2}) \ треугольникq \ \ operatorname {E} \ left [\ left (X_ {t_ {1}} - \ mu _ {X } (t_ {1}) \ right) {\ overline {(Y_ {t_ {2}} - \ mu _ {Y} (t_ {2}))}} \ right]}$

( Уравнение 5 )

Обратите внимание, что это выражение не является четко определенным для всех временных рядов или процессов, потому что среднее значение или дисперсия могут не существовать.

Определение стационарного случайного процесса в широком смысле

Позвольте представить пару случайных процессов , которые вместе являются стационарными в широком смысле . Тогда функция взаимной ковариации и функция взаимной корреляции задаются следующим образом. ${\ displaystyle (X_ {t}, Y_ {t})}$

Функция взаимной корреляции

${\ Displaystyle \ OperatorName {R} _ {XY} (\ tau) \ треугольник \ \ OperatorName {E} \ left [X_ {t} {\ overline {Y_ {t + \ tau}}} \ right]}$

( Уравнение 6 )

или эквивалентно

${\ displaystyle \ operatorname {R} _ {XY} (\ tau) = \ operatorname {E} \ left [X_ {t- \ tau} {\ overline {Y_ {t}}} \ right]}$

Кросс-ковариационная функция

${\ Displaystyle \ OperatorName {K} _ {XY} (\ tau) \ треугольник \ \ OperatorName {E} \ left [\ left (X_ {t} - \ mu _ {X} \ right) {\ overline {\ left (Y_ {t + \ tau} - \ mu _ {Y} \ right)}} \ right]}$

( Ур.7 )

или эквивалентно

${\ displaystyle \ operatorname {K} _ {XY} (\ tau) = \ operatorname {E} \ left [\ left (X_ {t- \ tau} - \ mu _ {X} \ right) {\ overline {\ left (Y_ {t} - \ mu _ {Y} \ right)}} \ right]}$

где и - среднее и стандартное отклонение процесса , которые постоянны во времени из-за стационарности; и аналогично для соответственно. указывает ожидаемое значение . Независимость кросс-ковариации и взаимной корреляции - это как раз дополнительная информация (помимо того, что она является индивидуально стационарной в широком смысле), передаваемая требованием, которые в совокупности являются стационарными в широком смысле. ${\ displaystyle \ mu _ {X}}$${\ displaystyle \ sigma _ {X}}$${\ displaystyle (X_ {t})}$${\ displaystyle (Y_ {t})}$${\ Displaystyle \ OperatorName {E} [\]}$${\ displaystyle t}$${\ displaystyle (X_ {t}, Y_ {t})}$

Взаимная корреляция пары стационарных случайных процессов в широком смысле может быть оценена путем усреднения произведения выборок, измеренных в одном процессе, и выборок, измеренных в другом (и его временных сдвигов). Выборки, включенные в среднее значение, могут быть произвольным подмножеством всех отсчетов в сигнале (например, отсчетами в пределах конечного временного окна или подвыборкой одного из сигналов). Для большого количества выборок среднее сходится к истинной взаимной корреляции.

Нормализация

В некоторых дисциплинах (например, в статистике и анализе временных рядов ) обычной практикой является нормализация функции взаимной корреляции для получения зависящего от времени коэффициента корреляции Пирсона . Однако в других дисциплинах (например, инженерии) от нормализации обычно отказываются, и термины «взаимная корреляция» и «кросс-ковариация» используются как взаимозаменяемые.

Определение нормализованной взаимной корреляции случайного процесса:

${\ displaystyle \ rho _ {XX} (t_ {1}, t_ {2}) = {\ frac {\ operatorname {K} _ {XX} (t_ {1}, t_ {2})} {\ sigma _ {X} (t_ {1}) \ sigma _ {X} (t_ {2})}} = {\ frac {\ operatorname {E} \ left [\ left (X_ {t_ {1}} - \ mu _ {t_ {1}} \ right) {\ overline {\ left (X_ {t_ {2}} - \ mu _ {t_ {2}} \ right)}} \ right]} {\ sigma _ {X} ( t_ {1}) \ sigma _ {X} (t_ {2})}}}$.

Если функция четко определена, ее значение должно лежать в диапазоне , где 1 указывает на идеальную корреляцию, а -1 указывает на идеальную антикорреляцию . ${\ displaystyle \ rho _ {XX}}$${\ displaystyle [-1,1]}$

Для совокупно стационарных случайных процессов в широком смысле определение имеет вид

${\ displaystyle \ rho _ {XY} (\ tau) = {\ frac {\ operatorname {K} _ {XY} (\ tau)} {\ sigma _ {X} \ sigma _ {Y}}} = {\ frac {\ operatorname {E} \ left [\ left (X_ {t} - \ mu _ {X} \ right) {\ overline {\ left (Y_ {t + \ tau} - \ mu _ {Y} \ right) }} \ right]} {\ sigma _ {X} \ sigma _ {Y}}}}$.

Нормализация важна как потому, что интерпретация автокорреляции как корреляции обеспечивает безмасштабную меру силы статистической зависимости , так и потому, что нормализация влияет на статистические свойства оцененных автокорреляций.

Характеристики

Свойство симметрии

Для стационарных случайных процессов в широком смысле взаимная корреляционная функция обладает следующим свойством симметрии:

${\ displaystyle \ operatorname {R} _ {XY} (t_ {1}, t_ {2}) = {\ overline {\ operatorname {R} _ {YX} (t_ {2}, t_ {1})}} }$

Соответственно для совместных процессов WSS:

${\ Displaystyle \ OperatorName {R} _ {XY} (\ tau) = {\ overline {\ operatorname {R} _ {YX} (- \ tau)}}}$

Анализ временной задержки

Взаимная корреляция полезна для определения временной задержки между двумя сигналами, например, для определения временных задержек для распространения акустических сигналов через решетку микрофонов. После вычисления взаимной корреляции между двумя сигналами максимум (или минимум, если сигналы имеют отрицательную корреляцию) функции взаимной корреляции указывает момент времени, когда сигналы лучше всего выровнены; то есть, задержка по времени между двумя сигналами определяется аргументом максимума, или агд макс из кросс-корреляции , как и в

${\ displaystyle \ tau _ {\ mathrm {delay}} = {\ underset {t \ in \ mathbb {R}} {\ operatorname {arg \, max}}} ((f \ star g) (t))}$

Терминология в обработке изображений

Нулевой нормализованной взаимной корреляции (ZNCC)

Для приложений обработки изображений, в которых яркость изображения и шаблона может изменяться в зависимости от условий освещения и экспозиции, изображения могут быть сначала нормализованы. Обычно это делается на каждом этапе путем вычитания среднего и деления на стандартное отклонение . То есть взаимная корреляция шаблона с частичным изображением ${\ Displaystyle т (х, у)}$${\ Displaystyle f (х, у)}$

${\ displaystyle {\ frac {1} {n}} \ sum _ {x, y} {\ frac {1} {\ sigma _ {f} \ sigma _ {t}}} \ left (f (x, y ) - \ mu _ {f} \ right) \ left (t (x, y) - \ mu _ {t} \ right)}$.

где это количество пикселей в и , является средним и это стандартное отклонение от . ${\ displaystyle n}$${\ Displaystyle т (х, у)}$${\ Displaystyle f (х, у)}$${\ displaystyle \ mu _ {f}}$${\ displaystyle f}$${\ displaystyle \ sigma _ {f}}$${\ displaystyle f}$

В терминах функционального анализа это можно рассматривать как скалярное произведение двух нормализованных векторов . То есть, если

${\ Displaystyle F (x, y) = f (x, y) - \ mu _ {f}}$

а также

${\ Displaystyle Т (х, у) = т (х, у) - \ му _ {т}}$

тогда указанная сумма равна

${\ displaystyle \ left \ langle {\ frac {F} {\ | F \ |}}, {\ frac {T} {\ | T \ |}} \ right \ rangle}$

где - внутренний продукт, а - норма L ² . Затем Коши-Шварц подразумевает, что ZNCC имеет диапазон . ${\ Displaystyle \ langle \ cdot, \ cdot \ rangle}$${\ Displaystyle \ | \ cdot \ |}$${\ displaystyle [-1,1]}$

Таким образом, если и являются действительными матрицами, их нормализованная взаимная корреляция равна косинусу угла между единичными векторами и , будучи, таким образом, тогда и только тогда, когда равно умноженному на положительный скаляр. ${\ displaystyle f}$${\ displaystyle t}$${\ displaystyle F}$${\ displaystyle T}$${\ displaystyle 1}$${\ displaystyle F}$${\ displaystyle T}$

Нормализованная корреляция - это один из методов, используемых для сопоставления шаблонов , процесса, используемого для поиска совпадений шаблона или объекта в изображении. Это также двумерная версия коэффициента корреляции момента произведения Пирсона .

Нормализованная взаимная корреляция (NCC)

NCC похож на ZNCC с той лишь разницей, что не вычитает локальное среднее значение интенсивности:

${\ displaystyle {\ frac {1} {n}} \ sum _ {x, y} {\ frac {1} {\ sigma _ {f} \ sigma _ {t}}} f (x, y) t ( х, у)}$

Нелинейные системы

Следует соблюдать осторожность при использовании взаимной корреляции для нелинейных систем. В определенных обстоятельствах, которые зависят от свойств входа, взаимная корреляция между входом и выходом системы с нелинейной динамикой может быть полностью закрыта для определенных нелинейных эффектов. Эта проблема возникает из-за того, что некоторые квадратичные моменты могут равняться нулю, и это может неверно предполагать, что существует небольшая «корреляция» (в смысле статистической зависимости) между двумя сигналами, когда на самом деле два сигнала сильно связаны нелинейной динамикой.

Смотрите также

использованная литература

дальнейшее чтение

• Тахмасеби, Педжман; Хезархани, Ардешир; Сахими, Мухаммад (2012). «Многоточечное геостатистическое моделирование на основе функций взаимной корреляции». Вычислительные науки о Земле . 16 (3): 779–797. DOI : 10.1007 / s10596-012-9287-1 .

внешние ссылки

• Взаимная корреляция из Mathworld
• http://scribblethink.org/Work/nvisionInterface/nip.html
• http://www.staff.ncl.ac.uk/oliver.hinton/eee305/Chapter6.pdf