В машинном обучении , на радиальной базисной функции ядра , или RBF ядра , является популярной функцией ядра используется в различных kernelized алгоритмов обучения. В частности, он обычно используется в машинной классификации опорных векторов .
Ядро RBF на двух выборках x и x ' , представленных как векторы признаков в некотором входном пространстве , определяется как
K
(
Икс
,
Икс
′
)
знак равно
exp
(
-
‖
Икс
-
Икс
′
‖
2
2
σ
2
)
{\ Displaystyle К (\ mathbf {x}, \ mathbf {x '}) = \ exp \ left (- {\ frac {\ | \ mathbf {x} - \ mathbf {x'} \ | ^ {2}} {2 \ sigma ^ {2}}} \ right)}
‖
Икс
-
Икс
′
‖
2
{\ displaystyle \ textstyle \ | \ mathbf {x} - \ mathbf {x '} \ | ^ {2}}
может быть распознан как квадрат евклидова расстояния между двумя векторами признаков. - свободный параметр. Эквивалентное определение включает параметр :
σ
{\ displaystyle \ sigma}
γ
знак равно
1
2
σ
2
{\ displaystyle \ textstyle \ gamma = {\ tfrac {1} {2 \ sigma ^ {2}}}}
K
(
Икс
,
Икс
′
)
знак равно
exp
(
-
γ
‖
Икс
-
Икс
′
‖
2
)
{\ Displaystyle К (\ mathbf {x}, \ mathbf {x '}) = \ exp (- \ gamma \ | \ mathbf {x} - \ mathbf {x'} \ | ^ {2})}
Поскольку значение ядра RBF уменьшается с расстоянием и колеблется от нуля (в пределе) до единицы (когда x = x ' ), оно имеет готовую интерпретацию как меру подобия . Особенность пространства ядра имеет бесконечное число измерений; для , его расширение:
σ
знак равно
1
{\ Displaystyle \ sigma = 1}
exp
(
-
1
2
‖
Икс
-
Икс
′
‖
2
)
знак равно
exp
(
2
2
Икс
⊤
Икс
′
-
1
2
‖
Икс
‖
2
-
1
2
‖
Икс
′
‖
2
)
знак равно
exp
(
Икс
⊤
Икс
′
)
exp
(
-
1
2
‖
Икс
‖
2
)
exp
(
-
1
2
‖
Икс
′
‖
2
)
знак равно
∑
j
знак равно
0
∞
(
Икс
⊤
Икс
′
)
j
j
!
exp
(
-
1
2
‖
Икс
‖
2
)
exp
(
-
1
2
‖
Икс
′
‖
2
)
знак равно
∑
j
знак равно
0
∞
∑
∑
п
я
знак равно
j
exp
(
-
1
2
‖
Икс
‖
2
)
Икс
1
п
1
⋯
Икс
k
п
k
п
1
!
⋯
п
k
!
exp
(
-
1
2
‖
Икс
′
‖
2
)
Икс
′
1
п
1
⋯
Икс
′
k
п
k
п
1
!
⋯
п
k
!
{\ displaystyle {\ begin {alignat} {2} \ exp \ left (- {\ frac {1} {2}} \ | \ mathbf {x} - \ mathbf {x '} \ | ^ {2} \ right ) & = \ exp ({\ frac {2} {2}} \ mathbf {x} ^ {\ top} \ mathbf {x '} - {\ frac {1} {2}} \ | \ mathbf {x} \ | ^ {2} - {\ frac {1} {2}} \ | \ mathbf {x '} \ | ^ {2}) \\ & = \ exp (\ mathbf {x} ^ {\ top} \ mathbf {x '}) \ exp (- {\ frac {1} {2}} \ | \ mathbf {x} \ | ^ {2}) \ exp (- {\ frac {1} {2}} \ | \ mathbf {x '} \ | ^ {2}) \\ & = \ sum _ {j = 0} ^ {\ infty} {\ frac {(\ mathbf {x} ^ {\ top} \ mathbf {x' }) ^ {j}} {j!}} \ exp \ left (- {\ frac {1} {2}} \ | \ mathbf {x} \ | ^ {2} \ right) \ exp \ left (- {\ frac {1} {2}} \ | \ mathbf {x '} \ | ^ {2} \ right) \\ & = \ sum _ {j = 0} ^ {\ infty} \ sum _ {\ sum n_ {i} = j} \ exp \ left (- {\ frac {1} {2}} \ | \ mathbf {x} \ | ^ {2} \ right) {\ frac {x_ {1} ^ {n_ {1}} \ cdots x_ {k} ^ {n_ {k}}} {\ sqrt {n_ {1}! \ Cdots n_ {k}!}}} \ Exp \ left (- {\ frac {1} { 2}} \ | \ mathbf {x '} \ | ^ {2} \ right) {\ frac {{x'} _ {1} ^ {n_ {1}} \ cdots {x '} _ {k} ^ {n_ {k}}} {\ sqrt {n_ {1}! \ cdots n_ {k}!}}} \ end {alignat}}}
Приближения
Поскольку машины опорных векторов и другие модели, использующие трюк с ядром , плохо масштабируются для большого количества обучающих выборок или большого количества функций во входном пространстве, было введено несколько приближений к ядру RBF (и аналогичным ядрам). Обычно они принимают форму функции z, которая отображает один вектор в вектор более высокой размерности, аппроксимируя ядро:
⟨
z
(
Икс
)
,
z
(
Икс
′
)
⟩
≈
⟨
φ
(
Икс
)
,
φ
(
Икс
′
)
⟩
знак равно
K
(
Икс
,
Икс
′
)
{\ displaystyle \ langle z (\ mathbf {x}), z (\ mathbf {x '}) \ rangle \ приблизительно \ langle \ varphi (\ mathbf {x}), \ varphi (\ mathbf {x'}) \ rangle = K (\ mathbf {x}, \ mathbf {x '})}
где - неявное отображение, встроенное в ядро RBF.
φ
{\ displaystyle \ textstyle \ varphi}
Один из способов построения такого z - это случайная выборка из преобразования Фурье ядра. Другой подход использует метод NYSTROM для аппроксимации eigendecomposition в Грама матрицы K , используя только случайную выборку из обучающего набора.
Смотрите также
Рекомендации
<img src="https://en.wikipedia.org/wiki/Special:CentralAutoLogin/start?type=1x1" alt="" title="" width="1" height="1" style="border: none; position: absolute;">