Мультилинейное подпространственное обучение - Multilinear subspace learning

Видео или последовательность изображений, представленная в виде тензора третьего порядка столбца x строка x время для обучения полилинейному подпространству.

Мультилинейное подпространственное обучение - это подход к уменьшению размерности. Снижение размерности может быть выполнено для тензора данных , наблюдения которого были векторизованы и организованы в тензор данных, или наблюдения которого представляют собой матрицы, которые объединены в тензор данных. Вот несколько примеров тензоров данных, наблюдения которых векторизованы или чьи наблюдения представляют собой матрицы, объединенные в изображения тензора данных (2D / 3D), видеопоследовательности (3D / 4D) и гиперспектральные кубы (3D / 4D).

Преобразование из многомерного векторного пространства в набор векторных пространств меньшей размерности является полилинейной проекцией. Когда наблюдения сохраняются в той же организационной структуре, что и датчик; в виде матриц или тензоров более высокого порядка их представления вычисляются путем выполнения N нескольких линейных проекций.

Мультилинейные алгоритмы обучения подпространств - это обобщения более высокого порядка методов обучения линейных подпространств, таких как анализ главных компонентов (PCA), анализ независимых компонентов (ICA), линейный дискриминантный анализ (LDA) и канонический корреляционный анализ (CCA).

Фон

С развитием сбора данных и технологии хранения , большие данные (или массовые наборы данных) генерируется на ежедневной основе в широком диапазоне новых приложений. Большинство этих больших данных многомерны. Более того, они обычно очень многомерны , с большой степенью избыточности и занимают только часть входного пространства. Следовательно, уменьшение размерности часто используется для отображения данных большой размерности в пространство низкой размерности, сохраняя при этом как можно больше информации.

Алгоритмы обучения линейному подпространству - это традиционные методы уменьшения размерности, которые представляют входные данные в виде векторов и находят оптимальное линейное отображение в пространство меньшей размерности. К сожалению, они часто становятся неадекватными при работе с огромными многомерными данными. Они приводят к векторам очень большой размерности, приводят к оценке большого количества параметров.

Мультилинейное обучение подпространству использует различные типы инструментов тензорного анализа данных для уменьшения размерности. Мультилинейное подпространственное обучение может применяться к наблюдениям, измерения которых были векторизованы и организованы в тензор данных, или измерения которых обрабатываются как матрица и объединяются в тензор.

Алгоритмы

Многолинейный анализ главных компонент

Исторически сложилось так, что полилинейный анализ главных компонентов назывался «M-mode PCA» - терминология, которую ввел Петер Круненберг. В 2005 году Василеску и Терзопулос ввели терминологию Multilinear PCA как способ лучше различать полилинейные тензорные разложения, которые вычисляли статистику 2-го порядка, связанную с каждым режимом (осью) тензора данных, и последующую работу над Multilinear Independent Component Analysis, которая вычисляла статистику более высокого порядка связанный с каждой тензорной модой / осью. MPCA - это расширение PCA .

Многолинейный независимый компонентный анализ

Мультилинейный независимый компонентный анализ - это расширение ICA .

Полилинейный линейный дискриминантный анализ

  • Полилинейное расширение LDA
    • На основе TTP: дискриминантный анализ с тензорным представлением (DATER)
    • На основе TTP: общий тензорный дискриминантный анализ (GTDA)
    • На основе TVP: некоррелированный полилинейный дискриминантный анализ (UMLDA)

Многолинейный канонический корреляционный анализ

  • Полилинейное расширение ОСО
    • На основе TTP: тензорный канонический корреляционный анализ (TCCA)
    • На основе TVP: мультилинейный канонический корреляционный анализ (MCCA)
    • На основе TVP: байесовский полилинейный канонический корреляционный анализ (BMTF)
  • TTP - это прямая проекция тензора большой размерности на тензор низкой размерности того же порядка с использованием N матриц проекций для тензора N- го порядка. Это может быть выполнено за N шагов, при этом каждый шаг выполняет умножение тензорной матрицы (произведение). В N шагов взаимозаменяемы. Эта проекция является расширением разложения по сингулярным значениям высшего порядка (HOSVD) на обучение подпространству. Следовательно, его происхождение восходит к разложению Таккера в 1960-х годах.
  • TVP - это прямая проекция тензора большой размерности на вектор низкой размерности, который также называется проекциями первого ранга. Поскольку TVP проецирует тензор на вектор, его можно рассматривать как множественные проекции от тензора к скаляру. Таким образом, TVP тензора на P -мерный вектор состоит из P проекций тензора на скаляр. Проекция тензора на скаляр - это элементарная полилинейная проекция (ЭМП). В EMP тензор проецируется в точку через N единичных векторов проекции. Это проекция тензора на одну строку (в результате получается скаляр) с одним вектором проекции в каждой моде. Таким образом, TVP тензорного объекта к вектору в P -мерном векторном пространстве состоит из P EMP. Эта проекция является расширением канонической декомпозиции , также известной как декомпозиция параллельных факторов (PARAFAC).

Типичный подход в MSL

Есть N наборов параметров , которые необходимо решить, по одному в каждом режиме. Решение одного набора часто зависит от других наборов (за исключением случая, когда N = 1 , линейный случай). Следовательно, выполняется субоптимальная итерационная процедура.

  1. Инициализация проекций в каждом режиме
  2. Для каждого режима фиксация проекции во всех остальных режимах и решение для проекции в текущем режиме.
  3. Сделайте оптимизацию по режимам для нескольких итераций или до сходимости.

Это происходит из метода альтернативных наименьших квадратов для многостороннего анализа данных.

За и против

На этом рисунке сравнивается количество параметров, которые должны быть оценены для одинаковой степени уменьшения размерности с помощью векторно-векторной проекции (VVP), (т.е. линейной проекции) тензорно-векторной проекции (TVP) и тензорно-векторной проекции. тензорная проекция (ТТП). Для полилинейных проекций требуется гораздо меньше параметров, а полученные представления более компактны. (Эта цифра основана на Таблице 3 обзора)

Преимущества MSL по сравнению с традиционным моделированием линейных подпространств в общих областях, где представление, естественно, несколько тензорно:

  • MSL сохраняет структуру и корреляцию, которые были у исходных данных до проекции, работая с естественным тензорным представлением многомерных данных.
  • MSL может изучать более компактные представления, чем его линейный аналог; Другими словами, необходимо оценить гораздо меньшее количество параметров. Таким образом, MSL может более эффективно обрабатывать большие тензорные данные, выполняя вычисления для представления с гораздо меньшими измерениями. Это приводит к снижению спроса на вычислительные ресурсы.

Однако алгоритмы MSL являются итеративными и не гарантируют сходимость; там, где алгоритм MSL сходится, он может делать это с локальным оптимумом . (Напротив, традиционные методы линейного моделирования подпространств часто дают точное решение в замкнутой форме.) Проблемы сходимости MSL часто можно смягчить путем выбора подходящей размерности подпространства и соответствующих стратегий инициализации, завершения и выбора порядка, в котором прогнозы решены.

Педагогические ресурсы

Код

Тензорные наборы данных

Смотрите также

Рекомендации