Индуктивное смещение - Inductive bias
Индуктивная смещения (также известная как обучение смещения ) алгоритм обучения является множеством предположений о том , что ученик использует для прогнозирования выхода из заданных входов , что он не сталкивался.
В машинном обучении одна цель состоит в создании алгоритмов, способных научиться предсказывать определенный целевой результат. Для этого в алгоритме обучения представлены некоторые обучающие примеры, демонстрирующие предполагаемое соотношение входных и выходных значений. Затем предполагается, что учащийся приблизит правильный результат, даже для примеров, которые не были показаны во время обучения. Без каких-либо дополнительных предположений эта проблема не может быть решена, поскольку невидимые ситуации могут иметь произвольное выходное значение. Необходимые предположения о природе целевой функции включаются в выражение « индуктивное смещение» .
Классическим примером индуктивного смещения является бритва Оккама , предполагающая, что самая простая непротиворечивая гипотеза о целевой функции на самом деле является наилучшей. Здесь согласованность означает, что гипотеза учащегося дает правильные результаты для всех примеров, которые были даны алгоритму.
Подходы к более формальному определению индуктивного смещения основаны на математической логике . Здесь индуктивное смещение - это логическая формула, которая вместе с данными обучения логически влечет за собой гипотезу, выдвинутую учащимся. Однако этот строгий формализм не работает во многих практических случаях, когда индуктивное смещение может быть дано только как грубое описание (например, в случае искусственных нейронных сетей ) или вообще не может быть дано .
Типы
Ниже приводится список распространенных индуктивных предубеждений в алгоритмах машинного обучения.
- Максимальная условная независимость : если гипотеза может быть изложена в байесовской структуре, постарайтесь максимизировать условную независимость. Это смещение, используемое в наивном байесовском классификаторе .
- Минимальная ошибка перекрестной проверки : при попытке выбрать среди гипотез выберите гипотезу с наименьшей ошибкой перекрестной проверки. Хотя может показаться, что перекрестная проверка свободна от предвзятости, теоремы «без бесплатного обеда» показывают, что перекрестная проверка должна быть предвзятой.
- Максимальное поле : при рисовании границы между двумя классами попытайтесь максимизировать ширину границы. Это смещение, используемое в машинах опорных векторов . Предполагается, что отдельные классы обычно разделяются широкими границами.
- Минимальная длина описания : при формировании гипотезы постарайтесь минимизировать длину описания гипотезы. Предполагается, что более простые гипотезы с большей вероятностью окажутся верными. Это НЕ то, что говорит бритва Оккама. Более простые модели легче проверить, они не «с большей вероятностью будут правдивыми». См. Бритву Оккама .
- Минимальные функции : если нет убедительных доказательств того, что функция полезна, ее следует удалить. Это предположение, лежащее в основе алгоритмов выбора функций .
- Ближайшие соседи : предположим, что большинство случаев в небольшом соседстве в пространстве признаков принадлежат к одному классу. В случае, когда класс неизвестен, предположите, что он принадлежит к тому же классу, что и большинство в его непосредственной близости. Это смещение, используемое в алгоритме k-ближайших соседей . Предполагается, что случаи, которые находятся рядом друг с другом, как правило, принадлежат к одному классу.
Сдвиг предвзятости
Хотя большинство алгоритмов обучения имеют статическое смещение, некоторые алгоритмы предназначены для изменения его смещения по мере накопления большего количества данных. Это не позволяет избежать смещения, поскольку сам процесс смещения смещения должен иметь смещение.