Фактор Рэлея - Rayleigh quotient

В математике , то фактор - Рэлея ( / г eɪ . Л я / ) для данной комплексной эрмитовой матрицы М и отлична от нуля вектор х определяется следующим образом:

${\ Displaystyle R (M, x) = {x ^ {*} Mx \ over x ^ {*} x}.}$

Для вещественных матриц и векторов условие эрмитовости сводится к тому, чтобы быть симметричным , а сопряженное транспонирование к обычному транспонированию . Обратите внимание, что для любого ненулевого скаляра c . Напомним, что эрмитова (или вещественная симметричная) матрица диагонализуема только с помощью вещественных собственных значений . Можно показать , что для данной матрицы, фактор Рэлея достигает своего минимального значения (наименьшее собственное значение из М ) , когда х является (соответствующий собственный вектор ). Аналогично и . ${\ displaystyle x ^ {*}}$ ${\ displaystyle x '}$${\ Displaystyle Р (М, сх) = Р (М, х)}$${\ displaystyle \ lambda _ {\ min}}$${\ displaystyle v _ {\ min}}$${\ Displaystyle Р (М, х) \ leq \ lambda _ {\ max}}$${\ Displaystyle R (M, v _ {\ max}) = \ lambda _ {\ max}}$

Фактор Рэлея используется в теореме min-max для получения точных значений всех собственных значений. Он также используется в алгоритмах собственных значений (таких как итерация по коэффициенту Рэлея ) для получения аппроксимации собственного значения из аппроксимации собственного вектора.

Диапазон отношения Рэлея (для любой матрицы, не обязательно эрмитовой) называется числовым диапазоном и содержит его спектр . Когда матрица эрмитова, числовой диапазон равен спектральной норме. Еще в функциональном анализе он известен как спектральный радиус . В контексте C * -алгебр или алгебраической квантовой механики функция, которая связывает с M фактор Рэлея – Ритца R ( M , x ) для фиксированного x и M, изменяющегося через алгебру, будет называться «векторным состоянием» алгебра. ${\ displaystyle \ lambda _ {\ max}}$

В квантовой механике фактор Рэлея дает математическое ожидание наблюдаемой, соответствующей оператору M для системы, состояние которой задается x .

Если мы зафиксируем комплексную матрицу M , то результирующее факторное отображение Рэлея (рассматриваемое как функция от x ) полностью определяет M через поляризационное тождество ; действительно, это остается верным, даже если мы позволим M быть неэрмитовым. (Однако, если мы ограничим поле скаляров действительными числами, то фактор Рэлея определяет только симметричную часть M. )

Границы для эрмитов ${\ displaystyle M}$

Как отмечалось во введении, для любого вектора х , один имеет , где соответственно наименьшее и наибольшее собственные значения . Это происходит сразу после наблюдения, что фактор Рэлея представляет собой средневзвешенное значение собственных значений M : ${\ Displaystyle R (M, x) \ in \ left [\ lambda _ {\ min}, \ lambda _ {\ max} \ right]}$${\ displaystyle \ lambda _ {\ min}, \ lambda _ {\ max}}$${\ displaystyle M}$

${\ Displaystyle R (M, x) = {x ^ {*} Mx \ over x ^ {*} x} = {\ frac {\ sum _ {i = 1} ^ {n} \ lambda _ {i} y_ {i} ^ {2}} {\ sum _ {i = 1} ^ {n} y_ {i} ^ {2}}}}$

где - это собственная пара после ортонормировки, а - координата x в собственном базисе. Тогда легко проверить, что оценки достигаются на соответствующих собственных векторах . ${\ Displaystyle (\ лямбда _ {я}, v_ {я})}$${\ displaystyle i}$${\ Displaystyle у_ {я} = v_ {я} ^ {*} х}$${\ displaystyle i}$${\ displaystyle v _ {\ min}, v _ {\ max}}$

Тот факт, что частное представляет собой средневзвешенное значение собственных значений, может использоваться для определения второго, третьего, ... наибольших собственных значений. Позвольте быть собственные значения в порядке убывания. Если и ограничена , чтобы быть ортогональными , и в этом случае , то есть максимальное значение , которое достигается при . ${\ displaystyle \ lambda _ {\ max} = \ lambda _ {1} \ geq \ lambda _ {2} \ geq \ cdots \ geq \ lambda _ {n} = \ lambda _ {\ min}}$${\ displaystyle n = 2}$${\ displaystyle x}$${\ displaystyle v_ {1}}$${\ displaystyle y_ {1} = v_ {1} ^ {*} x = 0}$${\ Displaystyle R (М, х)}$${\ displaystyle \ lambda _ {2}}$${\ displaystyle x = v_ {2}}$

Частный случай ковариационных матриц

Эмпирическая ковариационная матрица может быть представлена как произведение из матрицы данных предварительно умножают на своей транспонированной . Будучи положительной полуопределенной матрицей, она имеет неотрицательные собственные значения и ортогональные (или ортогонализуемые) собственные векторы, что можно продемонстрировать следующим образом. ${\ displaystyle M}$${\ displaystyle A'A}$ ${\ displaystyle A}$${\ displaystyle A '}$${\ displaystyle M}$

Во-первых, собственные значения неотрицательны: ${\ displaystyle \ lambda _ {i}}$

${\ displaystyle Mv_ {i} = A'Av_ {i} = \ lambda _ {i} v_ {i}}$

${\ displaystyle \ Rightarrow v_ {i} 'A'Av_ {i} = v_ {i}' \ lambda _ {i} v_ {i}}$

${\ Displaystyle \ Rightarrow \ left \ | Av_ {i} \ right \ | ^ {2} = \ lambda _ {i} \ left \ | v_ {i} \ right \ | ^ {2}}$

${\ displaystyle \ Rightarrow \ lambda _ {i} = {\ frac {\ left \ | Av_ {i} \ right \ | ^ {2}} {\ left \ | v_ {i} \ right \ | ^ {2} }} \ geq 0.}$

Во-вторых, собственные векторы ортогональны друг другу: ${\ displaystyle v_ {i}}$

${\ displaystyle {\ begin {align} & Mv_ {i} = \ lambda _ {i} v_ {i} \\ & \ Rightarrow v_ {j} 'Mv_ {i} = v_ {j}' \ lambda _ {i} v_ {i} \\ & \ Rightarrow \ left (Mv_ {j} \ right) 'v_ {i} = \ lambda _ {i} v_ {j}' v_ {i} \\ & \ Rightarrow \ lambda _ {j } v_ {j} 'v_ {i} = \ lambda _ {i} v_ {j}' v_ {i} \\ & \ Rightarrow \ left (\ lambda _ {j} - \ lambda _ {i} \ right) v_ {j} 'v_ {i} = 0 \\ & \ Rightarrow v_ {j}' v_ {i} = 0 \ end {выровнено}}}$

если собственные значения разные - в случае кратности базис можно ортогонализировать.

Чтобы теперь установить, что фактор Рэлея максимизируется собственным вектором с наибольшим собственным значением, рассмотрим разложение произвольного вектора на основе собственных векторов : ${\ displaystyle x}$${\ displaystyle v_ {i}}$

${\ Displaystyle х = \ сумма _ {я = 1} ^ {п} \ альфа _ {я} v_ {я},}$

где

${\ displaystyle \ alpha _ {i} = {\ frac {x'v_ {i}} {{v_ {i}} '{v_ {i}}}} = {\ frac {\ langle x, v_ {i} \ rangle} {\ left \ | v_ {i} \ right \ | ^ {2}}}}$

- координата ортогонально спроецированной на . Таким образом, мы имеем: ${\ displaystyle x}$${\ displaystyle v_ {i}}$

${\ displaystyle {\ begin {align} R (M, x) & = {\ frac {x'A'Ax} {x'x}} \\ & = {\ frac {{\ Bigl (} \ sum _ { j = 1} ^ {n} \ alpha _ {j} v_ {j} {\ Bigr)} '\ left (A'A \ right) {\ Bigl (} \ sum _ {i = 1} ^ {n} \ alpha _ {i} v_ {i} {\ Bigr)}} {{\ bigl (} \ sum _ {j = 1} ^ {n} \ alpha _ {j} v_ {j} {\ Bigr)} ' {\ Bigl (} \ sum _ {i = 1} ^ {n} \ alpha _ {i} v_ {i} {\ Bigr)}}} \\ & = {\ frac {{\ Bigl (} \ sum _ {j = 1} ^ {n} \ alpha _ {j} v_ {j} {\ Bigr)} '{\ Bigl (} \ sum _ {i = 1} ^ {n} \ alpha _ {i} (A 'A) v_ {i} {\ Bigr)}} {{\ bigl (} \ sum _ {i = 1} ^ {n} \ alpha _ {i} ^ {2} {v_ {i}}' {v_ {i}} {\ Bigr)}}} \\ & = {\ frac {{\ Bigl (} \ sum _ {j = 1} ^ {n} \ alpha _ {j} v_ {j} {\ Bigr) } '{\ Bigl (} \ sum _ {i = 1} ^ {n} \ alpha _ {i} \ lambda _ {i} v_ {i} {\ Bigr)}} {{\ bigl (} \ sum _ {i = 1} ^ {n} \ alpha _ {i} ^ {2} \ | {v_ {i}} \ | ^ {2} {\ Bigr)}}} \ end {выровнено}}}$

который в силу ортонормированности собственных векторов принимает вид:

${\ displaystyle {\ begin {align} R (M, x) & = {\ frac {\ sum _ {i = 1} ^ {n} \ alpha _ {i} ^ {2} \ lambda _ {i}} {\ sum _ {i = 1} ^ {n} \ alpha _ {i} ^ {2}}} \\ & = \ sum _ {i = 1} ^ {n} \ lambda _ {i} {\ frac {(x'v_ {i}) ^ {2}} {(x'x) (v_ {i} 'v_ {i}) ^ {2}}} \\ & = \ sum _ {i = 1} ^ {n} \ lambda _ {i} {\ frac {(x'v_ {i}) ^ {2}} {(x'x)}} \ end {выровнено}}}$

Последнее представление устанавливает, что фактор Рэлея представляет собой сумму квадратов косинусов углов, образованных вектором и каждым собственным вектором , взвешенных по соответствующим собственным значениям. ${\ displaystyle x}$${\ displaystyle v_ {i}}$

Если вектор максимизируется , то любое ненулевое скалярное кратное также максимизируется , поэтому проблема может быть сведена к задаче Лагранжа максимизации при ограничении, что . ${\ displaystyle x}$${\ Displaystyle R (М, х)}$${\ displaystyle kx}$${\ displaystyle R}$${\ Displaystyle \ сумма _ {я = 1} ^ {п} \ альфа _ {я} ^ {2} \ лямбда _ {я}}$${\ Displaystyle \ сумма _ {я = 1} ^ {п} \ альфа _ {я} ^ {2} = 1}$

Определить: . Тогда это становится линейной программой , которая всегда достигает своего максимума в одном из углов области. Точка максимума будет иметь и для всех (когда собственные значения упорядочены по убыванию величины). ${\ Displaystyle \ бета _ {я} = \ альфа _ {я} ^ {2}}$${\ displaystyle \ alpha _ {1} = \ pm 1}$${\ Displaystyle \ альфа _ {я} = 0}$${\ displaystyle i> 1}$

Таким образом, фактор Рэлея максимизируется собственным вектором с наибольшим собственным значением.

Формулировка с использованием множителей Лагранжа

В качестве альтернативы этот результат может быть получен методом множителей Лагранжа . Первая часть состоит в том, чтобы показать, что частное постоянно при масштабировании , где - скаляр ${\ displaystyle x \ to cx}$${\ displaystyle c}$

${\ Displaystyle R (M, cx) = {\ frac {(cx) ^ {*} Mcx} {(cx) ^ {*} cx}} = {\ frac {c ^ {*} c} {c ^ { *} c}} {\ frac {x ^ {*} Mx} {x ^ {*} x}} = R (M, x).}$

Из-за этой инвариантности достаточно изучить частный случай . Тогда задача состоит в том, чтобы найти критические точки функции ${\ Displaystyle \ | х \ | ^ {2} = х ^ {T} х = 1}$

${\ Displaystyle Р (М, х) = х ^ {T} Mx}$ ,

при условии ограничения Другими словами, это найти критические точки ${\ Displaystyle \ | х \ | ^ {2} = х ^ {T} х = 1.}$

${\ displaystyle {\ mathcal {L}} (x) = x ^ {T} Mx- \ lambda \ left (x ^ {T} x-1 \ right),}$

где - множитель Лагранжа. Стационарные точки возникают в ${\ displaystyle \ lambda}$${\ Displaystyle {\ mathcal {L}} (х)}$

${\ displaystyle {\ begin {align} & {\ frac {d {\ mathcal {L}} (x)} {dx}} = 0 \\ & \ Rightarrow 2x ^ {T} M-2 \ lambda x ^ { T} = 0 \\ & \ Rightarrow 2Mx-2 \ lambda x = 0 \\ & \ Rightarrow Mx ​​= \ lambda x \ end {выровнено}}}$

а также

${\ displaystyle \, следовательно, R (M, x) = {\ frac {x ^ {T} Mx} {x ^ {T} x}} = \ lambda {\ frac {x ^ {T} x} {x ^ { T} x}} = \ lambda.}$

Таким образом, собственные векторы из являются критическими точками фактора релеевского и их соответствующие собственные значениями являются стационарными значениями . Это свойство является основой для анализа главных компонентов и канонической корреляции . ${\ displaystyle x_ {1}, \ ldots, x_ {n}}$${\ displaystyle M}$${\ displaystyle \ lambda _ {1}, \ ldots, \ lambda _ {n}}$${\ Displaystyle {\ mathcal {L}}}$

Использование в теории Штурма – Лиувилля.

Теория Штурма – Лиувилля касается действия линейного оператора

${\ Displaystyle L (y) = {\ frac {1} {w (x)}} \ left (- {\ frac {d} {dx}} \ left [p (x) {\ frac {dy} {dx }} \ right] + q (x) y \ right)}$

на внутреннем пространстве продукта, определяемом

${\ Displaystyle \ langle {y_ {1}, y_ {2}} \ rangle = \ int _ {a} ^ {b} w (x) y_ {1} (x) y_ {2} (x) \, dx }$

функций, удовлетворяющих некоторым заданным граничным условиям в точках a и b . В этом случае фактор Рэлея равен

${\ displaystyle {\ frac {\ langle {y, Ly} \ rangle} {\ langle {y, y} \ rangle}} = {\ frac {\ int _ {a} ^ {b} y (x) \ left (- {\ frac {d} {dx}} \ left [p (x) {\ frac {dy} {dx}} \ right] + q (x) y (x) \ right) dx} {\ int _ {a} ^ {b} {w (x) y (x) ^ {2}} dx}}.}.$

Иногда это представляется в эквивалентной форме, полученной путем разделения интеграла в числителе и использования интегрирования по частям :

${\ displaystyle {\ begin {align} {\ frac {\ langle {y, Ly} \ rangle} {\ langle {y, y} \ rangle}} & = {\ frac {\ left \ {\ int _ {a } ^ {b} y (x) \ left (- {\ frac {d} {dx}} \ left [p (x) y '(x) \ right] \ right) dx \ right \} + \ left \ {\ int _ {a} ^ {b} {q (x) y (x) ^ {2}} \, dx \ right \}} {\ int _ {a} ^ {b} {w (x) y (x) ^ {2}} \, dx}} \\ & = {\ frac {\ left \ {\ left.-y (x) \ left [p (x) y '(x) \ right] \ right | _ {a} ^ {b} \ right \} + \ left \ {\ int _ {a} ^ {b} y '(x) \ left [p (x) y' (x) \ right] \, dx \ right \} + \ left \ {\ int _ {a} ^ {b} {q (x) y (x) ^ {2}} \, dx \ right \}} {\ int _ {a} ^ {b} w (x) y (x) ^ {2} \, dx}} \\ & = {\ frac {\ left \ {\ left.-p (x) y (x) y '(x) \ right | _ {a} ^ {b} \ right \} + \ left \ {\ int _ {a} ^ {b} \ left [p (x) y '(x) ^ {2} + q (x) y (x) ^ {2} \ right] \, dx \ right \}} {\ int _ {a} ^ {b} {w (x) y (x) ^ {2}} \, dx}}. \ конец {выровнено}}}$

Обобщения

1. Для данной пары ( А , В ) матриц, и заданной ненулевой вектор х , то обобщенный Рэлея фактор определяется как:

   ${\ displaystyle R (A, B; x): = {\ frac {x ^ {*} Ax} {x ^ {*} Bx}}.}$

   Обобщенное отношение рэлей может быть сведено к Рэлею QUOTIENT через трансформацию , где является разложением Холецкого эрмитового положительно определенной матрица B . ${\ Displaystyle R (D, C ^ {*} x)}$${\ displaystyle D = C ^ {- 1} A {C ^ {*}} ^ {- 1}}$${\ Displaystyle CC ^ {*}}$

2. Для данной пары ( х , у ) ненулевых векторов, и заданная эрмитовая матрица H , то обобщенный Рэлей фактор может быть определен как:

   ${\ displaystyle R (H; x, y): = {\ frac {y ^ {*} Hx} {\ sqrt {y ^ {*} y \ cdot x ^ {*} x}}}}$

   что совпадает с R ( H , x ) при x  =  y . В квантовой механике эта величина называется «матричным элементом» или иногда «амплитудой перехода».

Смотрите также

• Поле значений
• Теорема мин-макс
• Фактор Рэлея в анализе колебаний

Рекомендации

дальнейшее чтение

• Ши Ю, Леон-Шарль Траншевент, Барт Мур, Ив Моро, Слияние данных на основе ядра для машинного обучения: методы и приложения в биоинформатике и интеллектуальном анализе текста , гл. 2, Springer, 2011.