Вектор релевантности - Relevance vector machine

Часть серии по
Машинное обучение и интеллектуальный анализ данных
Проблемы Классификация Кластеризация Регресс Обнаружение аномалий AutoML Правила ассоциации Обучение с подкреплением Структурированный прогноз Функциональная инженерия Особенности обучения Онлайн обучение Полу-контролируемое обучение Неконтролируемое обучение Учимся ранжировать Введение в грамматику
Обучение с учителем ( классификация  • регрессия ) Деревья решений Ансамбли Упаковка Повышение Случайный лес k -NN Линейная регрессия Наивный байесовский Искусственные нейронные сети Логистическая регрессия Перцептрон Вектор релевантности (RVM) Машина опорных векторов (SVM)
Кластеризация БЕРЕЗА ИЗЛЕЧИВАТЬ Иерархический k -средство Ожидание – максимизация (EM) DBSCAN ОПТИКА Средний сдвиг
Снижение размерности Факторный анализ CCA ICA LDA NMF PCA PGD t-SNE
Структурированный прогноз Графические модели Сеть Байеса Условное случайное поле Скрытый Марков
Обнаружение аномалий k -NN Фактор местного выброса
Искусственная нейронная сеть Автоэнкодер Когнитивные вычисления Глубокое обучение DeepDream Многослойный перцептрон RNN LSTM ГРУ ESN Ограниченная машина Больцмана GAN SOM Сверточная нейронная сеть U-Net Трансформатор Пиковая нейронная сеть Мемтранзистор Электрохимическая RAM (ECRAM)
Обучение с подкреплением Q-обучение SARSA Временная разница (TD)
Теория Компромисс смещения и дисперсии Теория вычислительного обучения Минимизация эмпирического риска Обучение Оккама PAC обучение Статистическое обучение Теория ВК
Площадки для машинного обучения NeurIPS ICML ML JMLR ArXiv: cs.LG
Статьи по Теме Глоссарий искусственного интеллекта Список наборов данных для исследований в области машинного обучения Краткое описание машинного обучения
v т е

В математике , Релевантность Vector Machine (РВМ) является машинным обучением метод , который использует байесовский вывод для получения экономных решений для регрессии и вероятностной классификации . RVM имеет идентичную функциональную форму с машиной опорных векторов , но обеспечивает вероятностную классификацию.

Фактически это эквивалентно модели гауссовского процесса с функцией ковариации :

${\ displaystyle к (\ mathbf {x}, \ mathbf {x '}) = \ sum _ {j = 1} ^ {N} {\ frac {1} {\ alpha _ {j}}} \ varphi (\ mathbf {x}, \ mathbf {x} _ {j}) \ varphi (\ mathbf {x} ', \ mathbf {x} _ {j})}$

где - функция ядра (обычно гауссова), - дисперсии априорного вектора весового коэффициента и - входные векторы обучающего набора . ${\ displaystyle \ varphi}$${\ displaystyle \ alpha _ {j}}$${\ Displaystyle ш \ сим N (0, \ альфа ^ {- 1} I)}$${\ displaystyle \ mathbf {x} _ {1}, \ ldots, \ mathbf {x} _ {N}}$

По сравнению с машинами опорных векторов (SVM), байесовская формулировка RVM избегает набора свободных параметров SVM (которые обычно требуют пост-оптимизаций на основе перекрестной проверки). Однако RVM используют метод обучения, подобный максимальному ожиданию (EM), и поэтому подвержены риску достижения локальных минимумов. Это отличается от стандартных алгоритмов на основе последовательной минимальной оптимизации (SMO), используемых SVM , которые гарантированно находят глобальный оптимум (выпуклой задачи).

Вектор релевантности запатентован в США компанией Microsoft (срок действия патента истек 4 сентября 2019 г.).

Смотрите также

• Уловка ядра
• Масштабирование Платта : превращает SVM в вероятностную модель

Рекомендации

Программное обеспечение

• dlib Библиотека C ++
• Ядро-машинная библиотека
• rvmbinary : пакет R для двоичной классификации
• scikit-rvm
• fast-scikit-rvm , руководство по rvm

Внешние ссылки

• Веб-страница Типпинга о разреженных байесовских моделях и RVM
• Учебник по RVM от Тристана Флетчера
• Прикладной учебник по RVM
• Сравнение RVM и SVM