Полиномиальное ядро ​​- Polynomial kernel

Иллюстрация отображения . Слева набор образцов во входном пространстве, справа те же образцы в пространстве признаков, где ядро ​​полинома (для некоторых значений параметров и ) является внутренним продуктом. Гиперплоскость, изученная SVM в пространстве функций, представляет собой эллипс во входном пространстве.${\ displaystyle \ varphi}$${\ Displaystyle К (х, у)}$${\ displaystyle c}$${\ displaystyle d}$

В машинном обучении , то полиномиальное ядро является функцией ядра обычно используется с опорных векторов (SVM) и других kernelized моделей, что представляет собой подобие векторов (подготовка образцов) в художественном пространстве над многочленами исходных переменных, что позволяет изучение Неправительственный -линейные модели.

Интуитивно полиномиальное ядро ​​смотрит не только на заданные особенности входных выборок, чтобы определить их сходство, но и на их комбинации. В контексте регрессионного анализа такие комбинации известны как функции взаимодействия. Пространство (неявных) признаков полиномиального ядра эквивалентно пространству полиномиальной регрессии , но без комбинаторного увеличения количества параметров, которые необходимо изучить. Когда входные функции имеют двоичные значения (логические значения), тогда эти функции соответствуют логическим соединениям входных функций.

Определение

Для многочленов степени d ядро многочлена определяется как

${\ Displaystyle К (х, у) = (х ^ {\ mathsf {T}} у + с) ^ {d}}$

где x и y - векторы во входном пространстве , т. е. векторы признаков, вычисленные из обучающих или тестовых выборок, а c ≥ 0 - свободный параметр, позволяющий компенсировать влияние членов более высокого порядка и членов более низкого порядка в полиноме. Когда c = 0 , ядро ​​называется однородным. (Дальнейшее обобщенное многоядерное ядро ​​делит x ^T y на указанный пользователем скалярный параметр a .)

В качестве ядра K соответствует внутреннему продукту в пространстве признаков на основе некоторого отображения φ :

${\ Displaystyle К (х, y) = \ langle \ varphi (x), \ varphi (y) \ rangle}$

Природу φ можно увидеть на примере. Пусть d = 2 , так что мы получаем частный случай квадратичного ядра. После использования полиномиальной теоремы (дважды - внешнее приложение - биномиальная теорема ) и перегруппировки,

${\ Displaystyle К (х, у) = \ влево (\ сумма _ {я = 1} ^ {п} х_ {я} у_ {я} + с \ вправо) ^ {2} = \ сумма _ {я = 1 } ^ {n} \ left (x_ {i} ^ {2} \ right) \ left (y_ {i} ^ {2} \ right) + \ sum _ {i = 2} ^ {n} \ sum _ { j = 1} ^ {i-1} \ left ({\ sqrt {2}} x_ {i} x_ {j} \ right) \ left ({\ sqrt {2}} y_ {i} y_ {j} \ справа) + \ sum _ {i = 1} ^ {n} \ left ({\ sqrt {2c}} x_ {i} \ right) \ left ({\ sqrt {2c}} y_ {i} \ right) + с ^ {2}}$

Из этого следует, что карта характеристик задается:

${\ displaystyle \ varphi (x) = \ langle x_ {n} ^ {2}, \ ldots, x_ {1} ^ {2}, {\ sqrt {2}} x_ {n} x_ {n-1}, \ ldots, {\ sqrt {2}} x_ {n} x_ {1}, {\ sqrt {2}} x_ {n-1} x_ {n-2}, \ ldots, {\ sqrt {2}} x_ {n-1} x_ {1}, \ ldots, {\ sqrt {2}} x_ {2} x_ {1}, {\ sqrt {2c}} x_ {n}, \ ldots, {\ sqrt {2c} } x_ {1}, c \ rangle}$

Практическое использование

Хотя ядро RBF более популярно в классификации SVM, чем полиномиальное ядро, последнее довольно популярно в обработке естественного языка (NLP). Чаще всего используется степень d = 2 (квадратичная), поскольку более высокие степени имеют тенденцию к переобучению при решении задач НЛП.

Различные способы вычисления полиномиального ядра (как точные, так и приближенные) были разработаны в качестве альтернативы обычным нелинейным алгоритмам обучения SVM, включая:

• полное расширение ядра перед обучением / тестированием с помощью линейной SVM, т.е. полное вычисление отображения φ, как в полиномиальной регрессии;
• поиск корзины (с использованием варианта априорного алгоритма ) для наиболее часто встречающихся конъюнкций признаков в обучающем наборе для получения приблизительного расширения;
• инвертированная индексация опорных векторов.

Одна из проблем с полиномиальным ядром заключается в том, что оно может страдать от числовой нестабильности : когда x ^T y + c <1 , K ( x , y ) = ( x ^T y + c ) ^d стремится к нулю с увеличением d , тогда как при x ^T y + c > 1 , K ( x , y ) стремится к бесконечности.

Ссылки