Машина опорных векторов - Support-vector machine


Из Википедии, свободной энциклопедии

В машинном обучении , поддержка-векторные машинах ( SVMs , также поддерживающая-вектор сеть ) является наблюдением обучения модели с соответствующим обучением алгоритмами , которые анализируют данные , используемые для классификации и регрессионного анализа . Принимая во внимание множество обучающих примеров, каждый из которых помечен как принадлежащие к одной или другой из двух категорий, алгоритм SVM обучения строит модель , которая присваивает новые примеры к одной категории или другой, что делает его не- вероятностный двоичный линейный классификатор (хотя методы такие как Platt масштабирование существует , чтобы использовать SVM в вероятностной настройке классификации). Модель SVM является представление примеров как точки в пространстве, отображенных так что примеры отдельных категорий разделены явный пробел , который как можно шире. Новые примеры затем отображаются в том же пространстве , и , по прогнозам, принадлежат к категории , на основании которых стороны зазора они падают.

Помимо выполнения линейной классификации , SVMs может эффективно выполнять нелинейную классификацию , используя то , что называется ядро трюк , неявно отображение их вклад в многомерных пространствах художественных.

Когда данные немеченая, охраняемое обучение не представляется возможное, и бесконтрольное обучение требуется подход, который пытается найти естественную кластеризацию данных в группы, а затем сопоставить новые данные в эти сформированных группы. Кластеризация опорных векторов алгоритм, созданный Хава Сиегелманн и Вапник , применяет статистику опорных векторов, разработанных в алгоритме векторной машины поддержки, чтобы классифицировать немаркированные данные, и один из алгоритмов наиболее широко используемых кластеризации в промышленных приложениях.

мотивация

H 1 не разделяет классы. Н 2 делает, но только с небольшим запасом. H 3 разделяет их с максимальным запасом.

Классифицируя данных является общей задачей в области машинного обучения . Предположат , что некоторые заданные точки данных каждые принадлежат к одному из двух классов, а цель состоит в том, чтобы решить , какой класс а новая точка данных будет. В случае опорно-векторных машин, точка данных рассматриваются как n - мерный вектор (а список номеров), и мы хотим знать , можем ли мы выделить такие точки с -мерной гиперплоскостью . Это называется линейным классификатором . Есть много гиперплоскости , которые могут классифицировать данные. Один разумный выбор как лучшая гиперплоскость тот , которая представляет собой самое крупное разделение, или край , между этими двумя классами. Таким образом , мы выбираем гиперплоскость так, чтобы расстояние от него до ближайшей точки данных на каждой стороне максимизируются. Если такая гиперплоскость существует, она известна как максимальная рентабельность гиперплоскость и линейный классификатор она определяет , что известна как maximum- маржинального классификатор ; или , что эквивалентно, то персептрон оптимальной стабильности .

Определение

Более формально, поддержка вектор машина строит гиперплоскость или набор гиперплоскостей в высоком или бесконечномерным пространстве, которое может быть использовано для классификации , регрессии , или других задач , таких как обнаружение отклоняющихся значений. Наглядно, хорошее разделение достигается гиперплоскость , которая имеет наибольшее расстояние до ближайшей точки учебно-данных любого класса (так называемый функциональный запас), так как в общем случае , чем больше запас, тем меньше погрешность обобщении классификатора.

Ядро машины

В то время как исходная задача может быть сформулирована в конечномерном пространстве, часто бывает так, что множества дискриминировать не линейно разделимы в этом пространстве. По этой причине было предложено оригинальное конечно-мерное пространство будет отображаться в гораздо более высокое-мерное пространство, по- видимому делает разделение легче в этом пространстве. Чтобы сохранить вычислительную нагрузку разумно, отображение , используемое в схемах СВМ предназначены для обеспечения того , чтобы точечные продуктов пара векторов входных данных могут быть легко вычисляемым в терминах переменных в исходном пространстве, определяя их в терминах функции ядра , выбранных чтобы удовлетворить эту проблему. Гиперплоскости в многомерном пространстве определяются как множество точек, скалярное произведение с вектором в этом пространстве является постоянным, где таким набором вектора является ортогональным (и , таким образом , минимальным) множеством векторов, определяющими гиперплоскость. Векторы , определяющие гиперплоскости могут быть выбраны линейные комбинации с параметрами образов векторов признаков , которые происходят в базе данных. При таком выборе гиперплоскости, точки в пространстве признаков , которые отображаются в гиперплоскости определяются соотношением Заметим , что если становится малым растет дальше от , каждый член в сумме измеряет степень близости контрольной точки к соответствующая база данных точки . Таким образом, сумма ядер выше может быть использована для измерения относительной близости от каждой тестовой точки к точкам данных , поступающим в одной или другой из наборов , которые будут различаемым. Обратите внимание на то , что множество точек , отображенных в любую гиперплоскость может быть довольно свернутым в результате, что позволяет гораздо более сложная дискриминацию между подходами , которые не выпуклы вообще в исходном пространстве.

Приложения

SVMs может быть использован для решения различных проблем реального мира:

  • SVMs полезно в тексте и гипертекстовой категоризации , так как их применение может значительно снизить потребность в маркированных учебных экземплярах в обеих стандартной индуктивной и transductive настройки. Некоторые методы для мелкого семантического разбора основаны на опорных векторы.
  • Классификация изображений также может быть выполнена с использованием SVMs. Экспериментальные результаты показывают , что SVMs достичь значительно более высокой точности поиска по сравнению с традиционными схемами уточнения запроса после того, как только три-четыре раунда обратной связи уместности. Это также верно для сегментации изображений систем, в том числе с использованием модифицированной версии SVM , которая использует привилегированный подход, предложенный Вапник.
  • Рукописные символы могут быть признаны использованием SVM.
  • Алгоритм SVM широко применяется в биологических и других науках. Они были использованы для классификации белков до 90% соединений , классифицированных правильно. Тесты перестановок на основе весов SVM были предложены в качестве механизма для интерпретации моделей SVM. Машина веса опорных векторов также были использованы для интерпретации модели SVM в прошлом. Posthoc интерпретация моделей опорных векторов машины для того , чтобы определить особенности , используемые моделями , чтобы делать прогнозы относительно новая область исследований с особым значением в биологических науках.

история

Оригинальный алгоритм SVM был изобретен Владимир Николаевич Вапника и Алексей Ya. Червоненкис в 1963 г. В 1992 годе Бернхард Е. Босер, Изабель М. Гийон и Владимир Николаевич Вапника предложили способ создания нелинейных классификаторов, применяя трюк ядра с максимальной рентабельностью гиперплоскостей. Текущий стандарт Воплощение (мягкий запас) было предложено Коринна Кортесом и Вапником в 1993 году и опубликовано в 1995 году.

Линейный SVM

Максимальная рентабельность гиперплоскость и поля для SVM обученного с образцами из двух классов. Образцы на полях, называются векторами поддержки.

Мы дали учебный набор данных точек вида

где либо 1 , либо -1, каждый из которых указывает класс , к которому точка принадлежит. Каждый является -мерном реального вектора. Мы хотим , чтобы найти «максимальную рентабельность гиперплоскость» , которая делит группу точек , для которых из группы точек , для которых , которая определяется так, чтобы расстояние между гиперплоскостью и ближайшей точкой из любой группы максимально.

Любая гиперплоскость можно записать в виде множества точек , удовлетворяющих

где это (не обязательно нормированный) вектор нормали к гиперплоскости. Это очень похоже на Hesse нормальной форме , за исключением того, что не обязательно единичный вектор. Параметр определяет смещение гиперплоскости от начала координат вдоль вектора нормали .

Hard рентабельность

Если данные тренировки линейно разделимы , мы можем выбрать один из двух параллельных гиперплоскости, разделяющие два класса данных, так что расстояние между ними как можно больше. Область , ограниченная этими двумя гиперплоскостях называется «маржа», а максимальная рентабельностью гиперплоскость гиперплоскость , которая лежит на полпути между ними. С нормализованного или стандартизированного набора данных, эти гиперплоскости могут быть описаны уравнениями

(Что-нибудь или выше этой границы одного класса, с ярлыком 1)

а также

(Что-нибудь или ниже этой границы другого класса, с ярлыком -1).

Геометрический, расстояние между этими двумя гиперплоскостями , так , чтобы максимизировать расстояние между плоскостями , которые мы хотим , чтобы свести к минимуму . Расстояние вычисляется с использованием расстояния от точки до плоскости уравнения. Мы также должны предотвратить точки данных от попадания в поля, мы добавим следующее ограничение: для каждого либо

, Если ,

или же

, Если .

Эти ограничения утверждают, что каждая точка данных должна лежать на правильной стороне краев.

Это можно переписать в виде

Мы можем поставить это вместе, чтобы получить задачу оптимизации:

«Минимизировать при условии для .»

И что решить эту проблему определить наш классификатор, .

Важное следствие этого геометрического описания является то , что максимальной рентабельность гиперплоскость полностью определяется тем , что лежит ближе всего к нему. Они называются вспомогательные векторы .

Мягкая рентабельность

Чтобы расширить SVM в тех случаях , в которых данные не являются линейно разделимы, мы вводим потери Петля функцию,

Обратите внимание , что это я -й целевой (то есть, в данном случае, 1 или -1), и является выходным током.

Эта функция равна нулю , если ограничение в (1) выполнено, другими словами, если лежит на правильной стороне края. Для получения данных о неправильной стороне краев, значение функции пропорционально расстоянию от края.

Затем мы хотим минимизировать

где параметр определяет компромисс между увеличением размера маржи и обеспечение того , чтобы лежать на правильной стороне края. Таким образом, при достаточно малых значения , то второй член в функции потерь будет незначительным, следовательно, он будет вести себя аналогично трудно рентабельность SVM, если входные данные являются линейно классифицироваться, но все равно будет учиться , если правило классификации является жизнеспособным или нет.

Нелинейная классификация

Ядро машины

Оригинальный максимальная рентабельность гиперплоскость алгоритм , предложенный Вапник в 1963 году построен линейный классификатор . Тем не менее, в 1992 году, Бернхард Е. Босер , Изабель М. Гийон и В. Н. Вапник предложили способ создания нелинейных классификаторов, применяя трик ядра (первоначально предложенный Айзерман и др.) До максимальной разницы гиперплоскостей. Полученный алгоритм формально аналогично, за исключением того, что каждая точка продукт заменяется нелинейным ядром функции. Это позволяет алгоритм , чтобы соответствовать максимальной рентабельности гиперплоскости в преобразованном пространстве признаков . Преобразование может быть нелинейным и преобразованное пространство высокими мерным; хотя классификатор является гиперплоскость в преобразованном пространстве признаков, она может быть нелинейной в исходном входном пространстве.

Следует отметить , что работа в многомерном пространстве признаков увеличивает ошибку обобщения в области вспомогательных векторных машин, хотя при достаточном количестве образцов алгоритма до сих пор выполняет хорошо.

Некоторые общие ядра включают:

  • Полиномиальный (гомогенный) : .
  • Полиномиальный (неоднородный) .
  • Gaussian радиальная базисная функция : для . Иногда параметризованное использование .
  • Гиперболический тангенс : для некоторых (не каждый) и .

Ядро связано с преобразованием уравнением . Значение ш также в преобразованном пространстве, с . Продукты Dot с ж для классификации снова могут быть вычислены с помощью трюка ядра, то есть .

Вычислительный классификатор SVM

Вычисление (мягкая рентабельность) SVM классификатора составляет минимизацию выражения вида

Мы ориентируемся на мягкую рентабельность классификатором , поскольку, как было отмечены выше, выбирая достаточно малое значение для урожайности жесткой рентабельности классификатора для линейно входных данных времени классификации. Классический подход, который включает в себя сокращение (2) к квадратичному программированию задачи, подробно описан ниже. Затем будут рассмотрены более поздние подходы , такие как субградиент спуск и координатные спуск.

первобытный

Минимизация (2) можно переписать в виде задачи оптимизации с дифференцируемой целевой функции следующим образом.

Для каждого мы вводим переменную . Обратите внимание , что это наименьшее неотрицательное число , удовлетворяющее

Таким образом, мы можем переписать задачу оптимизации следующим образом

Это называется первичной проблемой.

двойственный

Решая для лагранжиана двойного указанной задачи, получает упрощенную задачу

Это называется двойной проблемой. Так как двойная задача максимизации является квадратичной функцией с учетом линейных ограничений, то эффективно решается с помощью квадратичного программирования алгоритмов.

Здесь переменные определены таким образом, что

,

Более того, когда именно лежит на правильной стороне края, и , когда лежит на границе Маржа в. Отсюда следует , что можно записать в виде линейной комбинации векторов поддержки.

Смещение, может быть восстановлена путем нахождения на границе Маржа и решения

(Заметим , что так .)

Ядро трюк

Учебный пример SVM с ядром дается ф (( ,
б )) = ( , Ь , 2 + б 2 ).

Предположим теперь , что мы хотели бы узнать нелинейное правило классификации , которое соответствует линейному правилу классификации для точек трансформированных данных Кроме того, задана функция ядра , которая удовлетворяет .

Мы знаем , что вектор классификации в преобразованном пространстве удовлетворяет

где, то получаются путем решения задачи оптимизации

Коэффициенты могут быть решены для использования квадратичного программирования, как и раньше. Опять же , мы можем найти индекс , такие , что , таким образом , что лежит на границе края в преобразованном пространстве, а затем решить

Наконец, новые точки могут быть классифицированы по вычислительной

Современные методы

Последние алгоритмы поиска SVM классификатор включает субградиента спуск и координатного спуска. Обе методики оказались предлагают значительные преимущества по сравнению с традиционным подходом при работе с большими наборами данных, разреженные-суб-градиентных методов особенно эффективны, когда есть много примеров обучения и координатного спуска, когда размерность пространства признаков высока.

Sub-градиентный спуск

Суб-градиентный спуск алгоритмы SVM работать непосредственно с выражением

Обратите внимание , что является выпуклой функцией от и . В качестве такого, традиционного градиентного спуска (или SGD ) методы могут быть адаптированы, где вместо того , чтобы сделать шаг в направлении градиента функции, шаг берется в направлении вектора , выбранного из функции в суб-градиента . Такой подход имеет то преимущество , что для некоторых реализаций, число итераций не масштабироваться с , число точек данных.

Координировать спуск

Координатного спуска алгоритмов для SVM работы с двойственной задачи

Для каждого , итеративно, коэффициент корректируется в сторону . Затем полученный вектор коэффициентов проецируется на ближайший вектор коэффициентов , которая удовлетворяет заданным ограничениям. (Обычно используются евклидовы расстояния.) Затем процесс повторяется до тех пор почти оптимальный вектор коэффициентов не получается. Полученный алгоритм очень быстро на практике, хотя некоторые гарантии исполнения были доказаны.

минимизация эмпирического риска

Опорных векторов мягкой рентабельностью описано выше , является примером эмпирического минимизации рисков алгоритма (ERM) для потери шарнира . С этой точки зрения, поддержка векторных машины принадлежат к естественному классу алгоритмов статистического вывода, и многие из его уникальных особенностей обусловлены поведением потери петли. Эта перспектива может обеспечить дальнейшее понимание того , как и почему SVMs работы, и позволит нам лучше анализировать их статистические свойства.

минимизация рисков

В подконтрольном обучении, один даются набор обучающих примеров с этикетками , и желает , чтобы предсказать дали . Для этого один формирует гипотезу , таким образом, что это «хорошее» приближение . А «хорошо» приближение обычно определяются с помощью функции потерь , , характеризующей , как плохо это как предсказание . Затем мы хотели бы выбрать гипотезу , что сводит к минимуму ожидаемого риска :

В большинстве случаев мы не знаем , совместное распределение наповал. В этих случаях общая стратегия заключается в выборе гипотезы , что сводит к минимуму эмпирического риска:

При определенных предположениях относительно последовательности случайных величин (например, что они генерируются с помощью конечного марковского процесса), если множество гипотез рассматриваются достаточно мало, минимизант эмпирического риска будет тесно аппроксимировать минимизант ожидаемого риска а растет большой. Такой подход называется эмпирической минимизации риска, или ERM.

Регуляризации и устойчивость

Для того , чтобы задачи минимизации иметь четко определенные решения, мы должны поставить ограничения на множестве гипотез рассматриваются. Если это нормированное пространство (как это имеет место для SVM), особенно эффективным методом является рассмотреть только те гипотезы , для которых . Это равносильно тому , наложение упорядочения штрафа и решения новой задачи оптимизации

Такой подход называется Тихонов регуляризация .

В более общем плане , может быть какой - то мера сложности гипотезы , так что более простые гипотезы являются предпочтительными.

СВМ и потеря шарнира

Напомним , что (мягкая рентабельностью) SVM классификатор выбирается , чтобы минимизировать следующее выражение:

В свете вышеизложенного, мы видим , что метод SVM эквивалентна минимизации эмпирического риска с Тихонова регуляризации, где в этом случае функция потерь является потеря Петля

С этой точки зрения, SVM тесно связана с другими фундаментальными алгоритмами классификации , такие как упорядоченные наименьших квадратов и логистической регрессии . Разница между этими тремя лежит в выборе функции потерь: регуляризованная наименьших квадратов сводится к минимизации эмпирического риска с квадратным потерями , ; логистическая регрессия использует лог-лосс ,

Целевые функции

Разница между потерей шарнира и этими другими функциями потерь лучше всего сформулирована в терминах целевых функций - функция , которая сводит к минимуму ожидаемого риска для данной пары случайных величин .

В частности, пусть обозначают обусловливающие события этого . В условиях классификации, мы имеем:

Оптимальный классификатор поэтому:

Для квадратного потери, целевая функция является условной функцией ожидания, ; Для логистической потери, это функция логита, . Хотя оба этих целевых функций дают правильный классификатор, так как они дают нам больше информации , чем нам нужно. На самом деле, они дают нам достаточно информации , чтобы полностью описать распределение .

С другой стороны, можно проверить , что целевая функция для потери шарнира является точно . Таким образом, в достаточно богатом пространстве гипотез, или , что эквивалентно, в течение соответствующего выбранного ядра-в SVM классификатора будет сходиться к простейшей функции (в терминах ) , что правильно классифицирует данные. Это расширяет геометрическую интерпретацию SVM-линейную классификацию, эмпирический риск сводится к минимуму любой функции, поля лежат между векторами поддержки, и самым простым из них является не более рентабельностью классификатора.

свойства

SVMs принадлежит к семейству обобщенных линейным классификаторов и может быть интерпретирован как расширение персептрона . Они могут также рассматриваться как частный случай Тихонова регуляризации . Особое свойство является то , что они одновременно минимизировать эмпирическую ошибку классификации и максимизировать геометрический запас ; следовательно , они также известны как максимальные маржинальные классификаторы .

Сравнение SVM с другими классификаторами было сделано Мейер, Leisch и Hornik.

выбор параметра

Эффективность SVM зависит от выбора ядра, параметров ядра, и мягкого параметр Маржи C. Общего выбором является гауссовским ядром, которое имеет один параметр . Лучшее сочетание C и часто выбирается с помощью поиска сетки с экспоненциально растущих последовательностей C и , например, ; , Как правило, каждая комбинация выбора параметров проверяются с помощью перекрестной проверки , а параметры с лучшей точностью перекрестной проверки выбраны. Кроме того , недавние работы в байесовской оптимизации могут быть использованы для выбора C и , часто требующие оценки гораздо меньше комбинаций параметров , чем поиск сетки. Последняя модель, которая используется для тестирования и классификации новых данных, затем обучения по всему набору обучения с использованием выбранных параметров.

вопросы

Потенциальные недостатки SVM включают следующие аспекты:

  • Требуется полная маркировка входных данных
  • Некалиброванный статус вероятность класса - SVM вытекает из теории Вапника, которая позволяет избежать оценивающих вероятностей на конечных данных
  • SVM только непосредственно применим для задач два класса. Таким образом, алгоритмы , которые уменьшают задачу мульти-класса до нескольких бинарных проблем должны быть применены; см SVM мульти-класса разделе.
  • Параметры решаемой модели трудно интерпретировать.

расширения

Поддержка вектор кластеризация (SVC)

SVC является таким же методом , который также опирается на функции ядра , но подходят для неконтролируемого обучения. Он считается основным методом в науке данных .

MultiClass SVM

MultiClass SVM стремится присвоить метки для экземпляров с помощью опорных векторов машины, где этикетки нарисованы из конечного набора нескольких элементов.

Доминирующий подход для этого является уменьшение единого MultiClass проблемы в нескольких бинарных классификационных проблем. Общие методы такого сокращения включают в себя:

  • Построение бинарных классификаторов, отличающие между одной из меток , а остальные ( один-против-всех ) или между каждой парой классов ( один-против-один ). Классификация новых экземпляров для случая , один-против-всех делается путем победитель получает все стратегии, в которой классификатор с функцией высшего вывода присваивает класс (это очень важно, чтобы выходные функции откалибровать сопоставимые результаты ). Для подхода один-против-один, классификация осуществляется через макс-побед стратегию голосования, в которой каждый классификатор назначает экземпляр к одному из двух классов, то голосование за назначенного класса увеличивается на один голос, и , наконец, класс с большинством голосов определяет классификацию экземпляра.
  • Направленный ациклический граф СВМ (DAGSVM)
  • С исправлением ошибок Выходные коды

Crammer и Зингер предложил MultiClass метод SVM, который бросает на MultiClass проблему классификации в одной задаче оптимизации, а не разлагать его на несколько бинарных задач классификации. Смотрите также Ли, Лин и Вахб.

Transductive опорных векторов машины

Transductive опорно-вектор машина расширить SVMs в том , что они также мог бы рассматривать частично меченые данные в полуобучаемом обучении , следуя принципы трансдукции . Здесь, в дополнение к обучающему набору , обучающийся также предоставляется набор

из тестовых примеров следует классифицировать. Формально transductive поддержка вектор машины определяется следующей основной задачи оптимизации:

Минимизация (в )

при условии (для любого и любого )

а также

Transductive опорных векторов машина была введена В. Н. Вапник в 1998 году.

Структурированные SVM

SVMs был обобщен на структурированных SVMs , где метка пространство структурировано и , возможно , бесконечного размера.

регрессия

Поддержка вектор регрессии (предсказания) с различными порогами е . В Е возрастает, предсказание становится менее чувствительным к ошибкам.

Версия SVM для регрессии был предложен в 1996 году В. Н. Вапника , Харрис Друкера, Кристофер JC Берджес, Линда Кауфман и Александр Дж Smola. Этот метод называется опорных векторов регрессии (СВР). Модель производится поддержка вектор классификации (как описано выше) , зависит только от подмножества обучающих данных, так как функция стоимости для построения модели не заботится об учебных точках , которые лежат за пределами края. Аналогично, модель производства СВР зависит только от подмножества обучающих данных, так как функция стоимости для построения модели игнорирует близко обучение данных для прогнозирования модели. Другой вариант SVM известен как наименьших квадратов опорных векторов машина (LS-SVM) был предложен Suykens и Vandewalle.

Обучение оригинальное УВО означает решение

минимизировать
при условии

где это обучающая выборка с заданным значением . Скалярное произведение плюс перехватывают является предсказанием для этого образца, и является свободным параметром , который служит в качестве порогового значения: все предсказания должны быть в пределах диапазона истинных предсказаний. Натяжные переменные обычно добавляют в выше , чтобы учесть ошибки и обеспечить приближение в случае вышеуказанная проблема является неосуществимым.

байесовский SVM

В 2011 годе было показано Полсон и Скоттом , что СВМ допускает байесовскую интерпретацию через методику увеличения данных . При таком подходе СВМ рассматриваются как графическая модель (где параметры связаны с помощью вероятностных распределений). Это расширенное представление позволяет применение байесовских методов для SVMs, таких как гибкое моделирование особенность, автоматическая гиперпараметр настройки, и предиктивного неопределенности количественной оценки . В последнее время , масштабируемое версия байесовского SVM была разработана Wenzel и соавт. что позволяет применение байесовской SVMs для больших объемов данных .

Реализация

Параметры максимального запаса гиперплоскости получены путем решения оптимизации. Там существует несколько специализированных алгоритмов для быстрого решения квадратичного программирования задачи (QP), возникающую из SVMs, в основном полагаться на эвристики для разрыва задачи на более мелкие, более управляемые части.

Другой подход заключается в использовании метода внутренних точек , который использует Ньютона -как итераций , чтобы найти решение из условий Каруша-Куна-Таккера в прямой и двойственной задач. Вместо того чтобы решать последовательность сломанных вниз проблемы, этот подход непосредственно решает проблему в целом. Для того, чтобы избежать решений линейной системы с участием большой матрицы ядра, низкий ранг приближение к матрице часто используется в трик ядра.

Другой распространенный метод является Плэтта последовательного минимальной оптимизации (SMO) алгоритмом, который разбивает задачу вниз в 2-мерные подзадачи, которые решаются аналитический, устраняя необходимость численного алгоритма оптимизации и матрицу хранения. Этот алгоритм концептуально простой, легкий в реализации, как правило , быстрее, и имеет лучшие свойства масштабирования для сложных проблем SVM.

Особый случай линейных опорных векторов машины могут быть решены более эффективно и того же рода алгоритмов , используемых для оптимизации его близкий родственник, логистической регрессии ; этот класс алгоритмов включает суб-градиентного спуска (например, Pegasos) и координатного спуска (например, LIBLINEAR). LIBLINEAR имеет некоторые привлекательные свойства обучения времени. Каждая итерация сходимость занимает много времени , линейные по времени , затрачиваемого читать данные поезда, а итерации также сходимость Q-линейное свойство, что делает алгоритм очень быстро.

В общем SVMs ядра также может быть решена более эффективно , используя суб-градиентного спуска (например , Р-packSVM), особенно , когда распараллеливание разрешено.

Ядро SVMs доступны во многих машин обучения инструментарии, в том числе LIBSVM , MATLAB , SAS , SVMlight, kernlab , scikit-узнать , Shogun , Weka , акулы , JKernelMachines , OpenCV и другие.

Смотрите также

Рекомендации

Список используемой литературы

внешняя ссылка

  • libsvm , LIBSVM популярная библиотека SVM учащихся
  • liblinear библиотека для большой линейной классификации , включая некоторую SVMs
  • SVM свет представляет собой набор программных средств для обучения и классификации с помощью SVM
  • SVMJS демо представляет собой графический интерфейс для демо JavaScript реализации SVMs