Мета-обучение (информатика) - Meta learning (computer science)

Эта статья посвящена мета-обучению в машинном обучении. Для метаобучения в социальной психологии см. Мета-обучение . Для метаобучения в неврологии см. Metalearning (нейробиология) .

Метаобучение - это подраздел машинного обучения, в котором алгоритмы автоматического обучения применяются к метаданным об экспериментах с машинным обучением. По состоянию на 2017 год термин не нашел стандартной интерпретации, однако основная цель состоит в том, чтобы использовать такие метаданные, чтобы понять, как автоматическое обучение может стать гибким при решении задач обучения, следовательно, для повышения производительности существующих алгоритмов обучения или для изучения (стимулирования) сам алгоритм обучения, отсюда и альтернативный термин « обучение, чтобы учиться» .

Гибкость важна, потому что каждый алгоритм обучения основан на наборе предположений о данных, их индуктивном смещении . Это означает, что он будет хорошо учиться только в том случае, если предвзятость соответствует задаче обучения. Алгоритм обучения может очень хорошо работать в одной области, но не в следующей. Это накладывает серьезные ограничения на использование методов машинного обучения или интеллектуального анализа данных , поскольку взаимосвязь между проблемой обучения (часто это какая-то база данных ) и эффективностью различных алгоритмов обучения еще не изучена.

Используя различные виды метаданных, такие как свойства задачи обучения, свойства алгоритма (например, показатели производительности) или шаблоны, ранее полученные из данных, можно изучать, выбирать, изменять или комбинировать различные алгоритмы обучения для эффективного решения заданного обучения. проблема. Критика подходов к метаобучению очень похожа на критику метаэвристики , возможно, связанной с этим проблемы. Хорошая аналогия с метаобучением, вдохновившая ранние работы Юргена Шмидхубера (1987) и Йошуа Бенгио и др. (1991), считает, что генетическая эволюция изучает процедуру обучения, закодированную в генах и выполняемую в каждом отдельном человеке. головной мозг. В открытой иерархической системе метаобучения с использованием генетического программирования лучшие методы эволюции могут быть изучены с помощью метаэволюции, которая сама может быть улучшена с помощью мета-метаэволюции и т. Д.

Определение

Предлагаемое определение системы метаобучения сочетает в себе три требования:

  • Система должна включать в себя обучающую подсистему.
  • Опыт приобретается за счет использования извлеченных мета-знаний.
    • в предыдущем учебном эпизоде ​​по одному набору данных или
    • из разных доменов.
  • Пристрастие к обучению должно выбираться динамически.

Смещение относится к предположениям, которые влияют на выбор объяснительных гипотез, а не к понятию смещения, представленному в дилемме смещения-дисперсии . Мета-обучение связано с двумя аспектами предвзятости обучения.

  • Декларативное смещение определяет представление пространства гипотез и влияет на размер пространства поиска (например, представление гипотез с использованием только линейных функций).
  • Процедурная систематическая ошибка накладывает ограничения на порядок индуктивных гипотез (например, предпочтение меньших гипотез).

Общие подходы

Есть три распространенных подхода:

  • 1) использование (циклических) сетей с внешней или внутренней памятью (на основе модели)
  • 2) изучение эффективных показателей расстояния (на основе показателей)
  • 3) явная оптимизация параметров модели для быстрого обучения (на основе оптимизации).

На основе модели

Модели метаобучения, основанные на моделях, быстро обновляют свои параметры с помощью нескольких шагов обучения, которые могут быть достигнуты с помощью его внутренней архитектуры или контролироваться другой моделью метаобучения.

Нейронные сети с расширенной памятью

Нейронная сеть с расширенной памятью , или сокращенно MANN, как утверждается, способна быстро кодировать новую информацию и, таким образом, адаптироваться к новым задачам после всего лишь нескольких примеров.

Мета Сети

Meta Networks (MetaNet) изучает метауровневые знания по задачам и смещает их индуктивные предубеждения с помощью быстрой параметризации для быстрого обобщения.

На основе метрики

Основная идея метаобучения на основе метрик похожа на алгоритмы ближайших соседей , вес которых генерируется функцией ядра. Он нацелен на изучение функции метрики или расстояния по объектам. Понятие хорошей метрики зависит от проблемы. Он должен представлять взаимосвязь между входами в пространстве задач и способствовать решению проблем.

Сверточная сиамская нейронная сеть

Сиамская нейронная сеть состоит из двух сетей-близнецов, выходные данные которых обучаются совместно. Выше есть функция для изучения взаимосвязи между парами выборок входных данных. Две сети одинаковы, имеют одинаковый вес и параметры сети.

Соответствующие сети

Matching Networks изучает сеть, которая сопоставляет небольшой помеченный набор поддержки и немаркированный пример со своей меткой, устраняя необходимость тонкой настройки для адаптации к новым типам классов.

Сеть отношений

Сеть отношений (RN) обучается от начала до конца с нуля. Во время метаобучения он учится изучать метрику большого расстояния для сравнения небольшого количества изображений в эпизодах, каждый из которых предназначен для имитации настройки нескольких кадров.

Прототипные сети

Прототипные сети изучают метрическое пространство, в котором может выполняться классификация, путем вычисления расстояний до прототипных представлений каждого класса. По сравнению с недавними подходами к обучению с несколькими выстрелами, они отражают более простое индуктивное смещение, которое выгодно в этом режиме ограниченных данных, и позволяют достичь удовлетворительных результатов.

На основе оптимизации

Алгоритмы метаобучения, основанные на оптимизации, предназначены для настройки алгоритма оптимизации, чтобы модель могла хорошо учиться на нескольких примерах.

Мета-обучающийся LSTM

Метаобучающийся на основе LSTM должен изучить точный алгоритм оптимизации, используемый для обучения другого классификатора нейронной сети учащегося в режиме нескольких выстрелов. Параметризация позволяет ему изучать соответствующие обновления параметров специально для сценария, в котором будет выполнено заданное количество обновлений, а также изучить общую инициализацию сети учащегося (классификатора), которая обеспечивает быструю сходимость обучения.

Временная дискретность

MAML, сокращение от Model-Agnostic Meta-Learning, является довольно общим алгоритмом оптимизации , совместимым с любой моделью, которая обучается посредством градиентного спуска.

Рептилии

Reptile - это удивительно простой алгоритм оптимизации метаобучения, учитывая, что оба его компонента полагаются на метаоптимизацию посредством градиентного спуска и оба не зависят от модели.

Примеры

Некоторые подходы, которые рассматривались как примеры метаобучения:

  • Рекуррентные нейронные сети (РНС) - универсальные компьютеры. В 1993 году Юрген Шмидхубер показал, как «самореферентные» RNN в принципе могут научиться путем обратного распространения ошибки запускать собственный алгоритм изменения веса, который может сильно отличаться от обратного распространения ошибки. В 2001 году компания Sepp Hochreiter & AS Younger & PR Conwell построила успешный метод контролируемого метаобучения на основе РНС долгосрочной краткосрочной памяти . Он изучил посредством обратного распространения алгоритм обучения квадратичным функциям, который намного быстрее, чем обратное распространение. Исследователи Deepmind (Марцин Андрыхович и др.) Расширили этот подход до оптимизации в 2017 году.
  • В 1990-х годах в исследовательской группе Шмидхубера была получена возможность Meta Reinforcement Learning или Meta RL посредством самомодифицирующихся политик, написанных на универсальном языке программирования, который содержит специальные инструкции по изменению самой политики. Есть единичный пожизненный суд. Цель агента RL - максимизировать вознаграждение. Он учится ускорять получение вознаграждения, постоянно улучшая свой собственный алгоритм обучения, который является частью политики «самореференции».
  • Экстремальный тип мета- обучения с подкреплением воплощен в машине Гёделя , теоретической конструкции, которая может проверять и изменять любую часть своего собственного программного обеспечения, которое также содержит средство доказательства общих теорем . Он может добиться рекурсивного самосовершенствования доказуемо оптимальным способом.
  • Модель- агностическое метаобучение (MAML) было представлено в 2017 году Челси Финн и др. При заданной последовательности задач параметры данной модели обучаются таким образом, что несколько итераций градиентного спуска с небольшим количеством обучающих данных из новой задачи приведут к хорошей производительности обобщения для этой задачи. MAML «обучает модель, чтобы ее можно было легко настраивать». MAML был успешно применен к тестам классификации изображений по нескольким кадрам и к обучению с подкреплением на основе градиентов политики.
  • Обнаружение мета-знания работает путем стимулирования знаний (например, правил), которые выражают, как каждый метод обучения будет работать с различными учебными проблемами. Метаданные формируются на основе характеристик данных (общие, статистические, теоретико-информационные, ...) в задаче обучения и характеристик алгоритма обучения (тип, настройки параметров, показатели производительности, ...). Затем другой алгоритм обучения изучает, как характеристики данных соотносятся с характеристиками алгоритма. Учитывая новую проблему обучения, измеряются характеристики данных и прогнозируется производительность различных алгоритмов обучения. Следовательно, можно предсказать алгоритмы, наиболее подходящие для новой задачи.
  • Сложное обобщение работает путем объединения нескольких (разных) алгоритмов обучения. Метаданные формируются на основе прогнозов этих различных алгоритмов. Другой алгоритм обучения учится на этих метаданных, чтобы предсказать, какие комбинации алгоритмов обычно дают хорошие результаты. Учитывая новую проблему обучения, прогнозы выбранного набора алгоритмов объединяются (например, посредством (взвешенного) голосования) для получения окончательного прогноза. Поскольку предполагается, что каждый алгоритм работает с подмножеством проблем, ожидается, что комбинация будет более гибкой и сможет давать хорошие прогнозы.
  • Повышение связано со сложным обобщением, но использует один и тот же алгоритм несколько раз, где примеры в обучающих данных получают разные веса при каждом запуске. Это дает разные прогнозы, каждый из которых ориентирован на правильное прогнозирование подмножества данных, а объединение этих прогнозов приводит к лучшим (но более дорогостоящим) результатам.
  • Выбор динамического смещения работает, изменяя индуктивное смещение алгоритма обучения в соответствии с данной проблемой. Это делается путем изменения ключевых аспектов алгоритма обучения, таких как представление гипотез, эвристические формулы или параметры. Существует много разных подходов.
  • Индуктивный перенос изучает, как можно улучшить процесс обучения с течением времени. Метаданные состоят из знаний о предыдущих эпизодах обучения и используются для эффективной разработки эффективной гипотезы для новой задачи. Связанный подход называется обучением для обучения , цель которого состоит в том, чтобы использовать полученные знания из одной области, чтобы помочь обучению в других областях.
  • Другие подходы, использующие метаданные для улучшения автоматического обучения, - это системы классификаторов обучения , рассуждение на основе случаев и удовлетворение ограничений .
  • Была начата некоторая первоначальная теоретическая работа по использованию прикладного поведенческого анализа в качестве основы для агентно-опосредованного метаобучения о деятельности учащихся-людей и корректировки учебного курса искусственного агента.
  • AutoML, такой как проект Google Brain «ИИ, создающий ИИ», который, по данным Google, ненадолго превзошел существующие тесты ImageNet в 2017 году.

использованная литература

внешние ссылки