Мультилинейное подпространственное обучение - Multilinear subspace learning
Мультилинейное подпространственное обучение - это подход к уменьшению размерности. Снижение размерности может быть выполнено для тензора данных , наблюдения которого были векторизованы и организованы в тензор данных, или наблюдения которого представляют собой матрицы, которые объединены в тензор данных. Вот несколько примеров тензоров данных, наблюдения которых векторизованы или чьи наблюдения представляют собой матрицы, объединенные в изображения тензора данных (2D / 3D), видеопоследовательности (3D / 4D) и гиперспектральные кубы (3D / 4D).
Преобразование из многомерного векторного пространства в набор векторных пространств меньшей размерности является полилинейной проекцией. Когда наблюдения сохраняются в той же организационной структуре, что и датчик; в виде матриц или тензоров более высокого порядка их представления вычисляются путем выполнения N нескольких линейных проекций.
Мультилинейные алгоритмы обучения подпространств - это обобщения более высокого порядка методов обучения линейных подпространств, таких как анализ главных компонентов (PCA), анализ независимых компонентов (ICA), линейный дискриминантный анализ (LDA) и канонический корреляционный анализ (CCA).
Фон
С развитием сбора данных и технологии хранения , большие данные (или массовые наборы данных) генерируется на ежедневной основе в широком диапазоне новых приложений. Большинство этих больших данных многомерны. Более того, они обычно очень многомерны , с большой степенью избыточности и занимают только часть входного пространства. Следовательно, уменьшение размерности часто используется для отображения данных большой размерности в пространство низкой размерности, сохраняя при этом как можно больше информации.
Алгоритмы обучения линейному подпространству - это традиционные методы уменьшения размерности, которые представляют входные данные в виде векторов и находят оптимальное линейное отображение в пространство меньшей размерности. К сожалению, они часто становятся неадекватными при работе с огромными многомерными данными. Они приводят к векторам очень большой размерности, приводят к оценке большого количества параметров.
Мультилинейное обучение подпространству использует различные типы инструментов тензорного анализа данных для уменьшения размерности. Мультилинейное подпространственное обучение может применяться к наблюдениям, измерения которых были векторизованы и организованы в тензор данных, или измерения которых обрабатываются как матрица и объединяются в тензор.
Алгоритмы
Многолинейный анализ главных компонент
Исторически сложилось так, что полилинейный анализ главных компонентов назывался «M-mode PCA» - терминология, которую ввел Петер Круненберг. В 2005 году Василеску и Терзопулос ввели терминологию Multilinear PCA как способ лучше различать полилинейные тензорные разложения, которые вычисляли статистику 2-го порядка, связанную с каждым режимом (осью) тензора данных, и последующую работу над Multilinear Independent Component Analysis, которая вычисляла статистику более высокого порядка связанный с каждой тензорной модой / осью. MPCA - это расширение PCA .
Многолинейный независимый компонентный анализ
Мультилинейный независимый компонентный анализ - это расширение ICA .
Полилинейный линейный дискриминантный анализ
- Полилинейное расширение LDA
- На основе TTP: дискриминантный анализ с тензорным представлением (DATER)
- На основе TTP: общий тензорный дискриминантный анализ (GTDA)
- На основе TVP: некоррелированный полилинейный дискриминантный анализ (UMLDA)
Многолинейный канонический корреляционный анализ
- Полилинейное расширение ОСО
- На основе TTP: тензорный канонический корреляционный анализ (TCCA)
- На основе TVP: мультилинейный канонический корреляционный анализ (MCCA)
- На основе TVP: байесовский полилинейный канонический корреляционный анализ (BMTF)
- TTP - это прямая проекция тензора большой размерности на тензор низкой размерности того же порядка с использованием N матриц проекций для тензора N- го порядка. Это может быть выполнено за N шагов, при этом каждый шаг выполняет умножение тензорной матрицы (произведение). В N шагов взаимозаменяемы. Эта проекция является расширением разложения по сингулярным значениям высшего порядка (HOSVD) на обучение подпространству. Следовательно, его происхождение восходит к разложению Таккера в 1960-х годах.
- TVP - это прямая проекция тензора большой размерности на вектор низкой размерности, который также называется проекциями первого ранга. Поскольку TVP проецирует тензор на вектор, его можно рассматривать как множественные проекции от тензора к скаляру. Таким образом, TVP тензора на P -мерный вектор состоит из P проекций тензора на скаляр. Проекция тензора на скаляр - это элементарная полилинейная проекция (ЭМП). В EMP тензор проецируется в точку через N единичных векторов проекции. Это проекция тензора на одну строку (в результате получается скаляр) с одним вектором проекции в каждой моде. Таким образом, TVP тензорного объекта к вектору в P -мерном векторном пространстве состоит из P EMP. Эта проекция является расширением канонической декомпозиции , также известной как декомпозиция параллельных факторов (PARAFAC).
Типичный подход в MSL
Есть N наборов параметров , которые необходимо решить, по одному в каждом режиме. Решение одного набора часто зависит от других наборов (за исключением случая, когда N = 1 , линейный случай). Следовательно, выполняется субоптимальная итерационная процедура.
- Инициализация проекций в каждом режиме
- Для каждого режима фиксация проекции во всех остальных режимах и решение для проекции в текущем режиме.
- Сделайте оптимизацию по режимам для нескольких итераций или до сходимости.
Это происходит из метода альтернативных наименьших квадратов для многостороннего анализа данных.
За и против
Преимущества MSL по сравнению с традиционным моделированием линейных подпространств в общих областях, где представление, естественно, несколько тензорно:
- MSL сохраняет структуру и корреляцию, которые были у исходных данных до проекции, работая с естественным тензорным представлением многомерных данных.
- MSL может изучать более компактные представления, чем его линейный аналог; Другими словами, необходимо оценить гораздо меньшее количество параметров. Таким образом, MSL может более эффективно обрабатывать большие тензорные данные, выполняя вычисления для представления с гораздо меньшими измерениями. Это приводит к снижению спроса на вычислительные ресурсы.
Однако алгоритмы MSL являются итеративными и не гарантируют сходимость; там, где алгоритм MSL сходится, он может делать это с локальным оптимумом . (Напротив, традиционные методы линейного моделирования подпространств часто дают точное решение в замкнутой форме.) Проблемы сходимости MSL часто можно смягчить путем выбора подходящей размерности подпространства и соответствующих стратегий инициализации, завершения и выбора порядка, в котором прогнозы решены.
Педагогические ресурсы
- Обзор : Обзор обучения мультилинейных подпространств для тензорных данных ( версия с открытым доступом ).
- Лекция : Видеолекция по UMPCA на 25-й Международной конференции по машинному обучению (ICML 2008).
Код
- MATLAB Tensor Toolbox от Sandia National Laboratories .
- Алгоритм MPCA, написанный на Matlab (включая MPCA + LDA) .
- Алгоритм UMPCA, написанный на Matlab (включая данные) .
- Алгоритм UMLDA, написанный на Matlab (данные включены) .
Тензорные наборы данных
- Трехмерные данные о походке (тензоры третьего порядка): 128x88x20 (21,2M) ; 64x44x20 (9.9M) ; 32x22x10 (3,2 м) ;
Смотрите также
- Разложение CP
- Уменьшение размеров
- Полилинейная алгебра
- Мультилинейный анализ главных компонент
- Тензор
- Тензорное разложение
- Тензорное программное обеспечение
- Разложение Таккера