Генеративная модель на основе потоков - Flow-based generative model

Часть серии по
Машинное обучение и интеллектуальный анализ данных
Проблемы Классификация Кластеризация Регресс Обнаружение аномалий AutoML Правила ассоциации Обучение с подкреплением Структурированный прогноз Функциональная инженерия Особенности обучения Онлайн обучение Полу-контролируемое обучение Обучение без учителя Учимся ранжировать Введение в грамматику
Обучение с учителем ( классификация  • регрессия ) Деревья решений Ансамбли Упаковка Повышение Случайный лес k -NN Линейная регрессия Наивный байесовский Искусственные нейронные сети Логистическая регрессия Перцептрон Вектор релевантности (RVM) Машина опорных векторов (SVM)
Кластеризация БЕРЕЗА ИЗЛЕЧИВАТЬ Иерархический k -средство Ожидание – максимизация (EM) DBSCAN ОПТИКА Средний сдвиг
Снижение размерности Факторный анализ CCA ICA LDA NMF PCA PGD t-SNE
Структурированный прогноз Графические модели Сеть Байеса Условное случайное поле Скрытый Марков
Обнаружение аномалий k -NN Фактор местного выброса
Искусственная нейронная сеть Автоэнкодер Когнитивные вычисления Глубокое обучение DeepDream Многослойный перцептрон RNN LSTM ГРУ ESN Ограниченная машина Больцмана GAN SOM Сверточная нейронная сеть U-Net Трансформатор Пиковая нейронная сеть Мемтранзистор Электрохимическая RAM (ECRAM)
Обучение с подкреплением Q-обучение SARSA Временная разница (TD)
Теория Компромисс смещения и дисперсии Теория вычислительного обучения Минимизация эмпирического риска Обучение Оккама PAC обучение Статистическое обучение Теория ВК
Площадки для машинного обучения NeurIPS ICML ML JMLR ArXiv: cs.LG
Статьи по Теме Глоссарий искусственного интеллекта Список наборов данных для исследований в области машинного обучения Краткое описание машинного обучения
v т е

Порождающая модель потока на основе является порождающей моделью используется в машинном обучении , которые явно моделирует распределение вероятностей за счетом использования потока нормализующего , который представляет собой статистический метод , использующий переключающие из переменного закона вероятностей превратить простое распределение в сложный.

Прямое моделирование вероятности дает много преимуществ. Например, отрицательное логарифмическое правдоподобие может быть непосредственно вычислено и минимизировано как функция потерь . Кроме того, новые выборки могут быть созданы путем выборки из начального распределения и применения преобразования потока.

Напротив, многие альтернативные методы генеративного моделирования, такие как вариационный автокодировщик (VAE) и генеративная состязательная сеть , явно не представляют функцию правдоподобия.

Методика

Позвольте быть (возможно, многомерной) случайной величиной с распределением . ${\ displaystyle z_ {0}}$${\ displaystyle p_ {0} (z_ {0})}$

Для , пусть будет последовательность случайных величин, преобразованных из . Функции должны быть обратимыми, т.е. обратная функция существует. Конечный результат моделирует целевое распределение. ${\ Displaystyle я = 1, ..., К}$${\ displaystyle z_ {i} = f_ {i} (z_ {i-1})}$${\ displaystyle z_ {0}}$${\ displaystyle f_ {1}, ..., f_ {K}}$ ${\ displaystyle f_ {i} ^ {- 1}}$${\ displaystyle z_ {K}}$

Логарифмическая вероятность (см. Вывод ): ${\ displaystyle z_ {K}}$

${\ displaystyle \ log p_ {K} (z_ {K}) = \ log p_ {0} (z_ {0}) - \ sum _ {i = 1} ^ {K} \ log \ left | \ det {\ гидроразрыв {df_ {i} (z_ {i-1})} {dz_ {i-1}}} \ right |}$

Для эффективного вычисления логарифма правдоподобия функции должны быть 1. легко инвертировать и 2. легко вычислять определитель своего якобиана. На практике функции моделируются с использованием глубоких нейронных сетей и обучаются минимизировать отрицательную логарифмическую вероятность выборок данных из целевого распределения. Эти архитектуры обычно проектируются так, что требуется только прямой проход нейронной сети как для обратных вычислений, так и для вычислений определителя Якоби. Примеры таких архитектур включают NICE, RealNVP и Glow. ${\ displaystyle f_ {1}, ..., f_ {K}}$${\ displaystyle f_ {1}, ..., f_ {K}}$

Вывод логарифма правдоподобия

Считайте и . Обратите внимание на это . ${\ displaystyle z_ {1}}$${\ displaystyle z_ {0}}$${\ displaystyle z_ {0} = f_ {1} ^ {- 1} (z_ {1})}$

По формуле замены переменной распределение составляет: ${\ displaystyle z_ {1}}$

${\ displaystyle p_ {1} (z_ {1}) = p_ {0} (z_ {0}) \ left | \ det {\ frac {df_ {1} ^ {- 1} (z_ {1})} { dz_ {1}}} \ right |}$

Где это определитель из матрицы Якоби в . ${\ displaystyle \ det {\ frac {df_ {1} ^ {- 1} (z_ {1})} {dz_ {1}}}}$${\ displaystyle f_ {1} ^ {- 1}}$

По теореме об обратной функции :

${\ displaystyle p_ {1} (z_ {1}) = p_ {0} (z_ {0}) \ left | \ det \ left ({\ frac {df_ {1} (z_ {0})} {dz_ { 0}}} \ right) ^ {- 1} \ right |}$

По тождеству (где - обратимая матрица ) имеем: ${\ Displaystyle \ Det (A ^ {- 1}) = \ Det (A) ^ {- 1}}$${\ displaystyle A}$

${\ displaystyle p_ {1} (z_ {1}) = p_ {0} (z_ {0}) \ left | \ det {\ frac {df_ {1} (z_ {0})} {dz_ {0}} } \ right | ^ {- 1}}$

Таким образом, логарифмическая вероятность:

${\ displaystyle \ log p_ {1} (z_ {1}) = \ log p_ {0} (z_ {0}) - \ log \ left | \ det {\ frac {df_ {1} (z_ {0}) } {dz_ {0}}} \ right |}$

В общем, сказанное выше относится к любым и . Поскольку равно вычтенному на нерекурсивный член, по индукции можно вывести, что: ${\ displaystyle z_ {i}}$${\ displaystyle z_ {i-1}}$${\ displaystyle \ log p_ {i} (z_ {i})}$${\ Displaystyle \ журнал р_ {я-1} (z_ {я-1})}$

${\ displaystyle \ log p_ {K} (z_ {K}) = \ log p_ {0} (z_ {0}) - \ sum _ {i = 1} ^ {K} \ log \ left | \ det {\ гидроразрыв {df_ {i} (z_ {i-1})} {dz_ {i-1}}} \ right |}$

Варианты

Непрерывный нормализующий поток (CNF)

Вместо построения потока по композиции функций, другой подход состоит в том, чтобы сформулировать поток как динамику с непрерывным временем. Позвольте быть скрытой переменной с распределением . Сопоставьте эту скрытую переменную с пространством данных с помощью следующей функции потока: ${\ displaystyle z_ {0}}$${\ displaystyle p (z_ {0})}$

${\ Displaystyle х = F (z_ {0}) = z_ {T} = z_ {0} + \ int _ {0} ^ {t} f (z_ {t}, t) dt}$

Где - произвольная функция, которую можно смоделировать, например, с помощью нейронных сетей. ${\ displaystyle f}$

Тогда обратная функция естественно будет:

${\ displaystyle z_ {0} = F ^ {- 1} (x) = z_ {T} + \ int _ {t} ^ {0} -f (z_ {t}, t) dt}$

И логарифмическая вероятность может быть найдена как: ${\ displaystyle x}$

${\ displaystyle \ log (p (x)) = \ log (p (z_ {0})) - \ int _ {0} ^ {t} {\ text {Tr}} \ left [{\ frac {\ partial f} {\ partial z_ {t}}} dt \ right]}$

Из-за использования интеграции на практике могут потребоваться такие методы, как Neural ODE.

Приложения

Генеративные модели на основе потоков применялись для решения множества задач моделирования, в том числе:

• Генерация звука
• Генерация изображения
• Генерация молекулярного графа
• Моделирование облака точек
• Генерация видео

Рекомендации

Внешние ссылки

• Глубокие генеративные модели на основе потоков
• Нормализация потоковых моделей