Факторный анализ - Factor analysis

Факторный анализ - это статистический метод, используемый для описания изменчивости наблюдаемых коррелированных переменных с точки зрения потенциально меньшего числа ненаблюдаемых переменных, называемых факторами . Например, возможно, что вариации шести наблюдаемых переменных в основном отражают вариации двух ненаблюдаемых (лежащих в основе) переменных. Факторный анализ ищет такие совместные вариации в ответ на ненаблюдаемые скрытые переменные . Наблюдаемые переменные моделируются как линейные комбинации потенциальных факторов плюс « ошибки ».

Проще говоря, факторная нагрузка переменной количественно определяет степень, в которой переменная связана с данным фактором.

Общее объяснение методов факторного анализа состоит в том, что полученная информация о взаимозависимостях между наблюдаемыми переменными может быть использована позже для сокращения набора переменных в наборе данных. Факторный анализ обычно используется в психометрии , теориях личности , биологии, маркетинге , управлении продуктами , исследованиях операций , финансах и машинном обучении . Это может помочь иметь дело с наборами данных, в которых имеется большое количество наблюдаемых переменных, которые, как считается, отражают меньшее количество основных / скрытых переменных. Это один из наиболее часто используемых методов взаимозависимости, который используется, когда соответствующий набор переменных демонстрирует систематическую взаимозависимость, а цель состоит в том, чтобы выявить скрытые факторы, которые создают общность.

Статистическая модель

Определение

Модель пытается объяснить набор наблюдений у каждого человека с помощью набора общих факторов ( ), где на единицу меньше факторов, чем наблюдений на единицу ( ). У каждого человека есть свои собственные общие факторы, и они связаны с наблюдениями через матрицу факторной нагрузки ( ) для одного наблюдения, согласно

Посредством чего

  • значение -го наблюдения за -ой особи,
  • - среднее значение для -го наблюдения,
  • - нагрузка для -го наблюдения -го фактора,
  • - значение th фактора для th человека, а
  • является th ненаблюдаемым членом стохастической ошибки с нулевым средним и конечной дисперсией.


В матричной записи

где матрица наблюдения, матрица факторов, матрица условий ошибок и матрица средних значений, при этом th элемент является простым .

Также мы сделаем следующие предположения :

  1. и независимы.
  2. ; где находится Expectation
  3. где - ковариационная матрица , чтобы убедиться, что факторы не коррелированы, а - единичная матрица .

Допустим . потом

и, следовательно, из условий, наложенных выше,

или, установка ,

Обратите внимание, что для любой ортогональной матрицы , если мы устанавливаем и , критерии нахождения факторов и факторных нагрузок по-прежнему остаются в силе. Следовательно, набор факторов и факторных нагрузок уникален только с точностью до ортогонального преобразования .

Пример

Предположим, у психолога есть гипотеза о том, что существует два вида интеллекта : «вербальный интеллект» и «математический интеллект», ни один из которых не наблюдается напрямую. Доказательства гипотезы ищутся в результатах экзаменов по каждой из 10 различных академических областей 1000 студентов. Если каждый студент выбирается случайным образом из большой совокупности , то 10 баллов каждого студента являются случайными величинами. Гипотеза психолога может сказать, что для каждой из 10 академических областей средний балл по группе всех студентов, разделяющих некоторую общую пару ценностей вербального и математического «интеллекта», в некоторой степени постоянно умножается на их уровень вербального интеллекта плюс еще одно постоянное время. их уровень математического интеллекта, т. е. это линейная комбинация этих двух «факторов». Числа для конкретного предмета, на которые умножаются два вида интеллекта, чтобы получить ожидаемую оценку, постулируются гипотезой как одинаковые для всех пар уровней интеллекта и называются «факторной нагрузкой» для этого предмета. Например, гипотеза может состоять в том, что прогнозируемые средние способности студента в области астрономии равны

{10 × вербальный интеллект учащегося} + {6 × математический интеллект учащегося}.

Цифры 10 и 6 - факторные нагрузки, связанные с астрономией. Другие учебные предметы могут иметь другие факторные нагрузки.

Предполагается, что два студента с одинаковыми степенями вербального и математического интеллекта могут иметь разные измеряемые способности в астрономии, потому что индивидуальные способности отличаются от средних способностей (предсказанных выше) и из-за самой ошибки измерения. Такие различия составляют то, что в совокупности называется «ошибкой» - статистическим термином, обозначающим величину, на которую индивидуум при измерении отличается от среднего или прогнозируемого его уровня интеллекта (см. Ошибки и остатки в статистике). ).

Наблюдаемые данные, которые входят в факторный анализ, будут включать 10 баллов каждого из 1000 студентов, всего 10 000 чисел. Факторные нагрузки и уровни двух видов интеллекта каждого студента должны быть выведены из данных.

Математическая модель того же примера.

Далее матрицы будут обозначаться индексированными переменными. Индексы «Subject» будут обозначены буквами , и со значениями, начинающимися от до которых в приведенном выше примере равно . «Факторные» индексы будут обозначены буквами , и со значениями от до которых в приведенном выше примере равно . Индексы «экземпляра» или «образца» будут обозначены буквами , и со значениями от до . В приведенном выше примере, если в экзаменах участвовала выборка студентов, оценка th студента за th экзамен выражается в виде . Цель факторного анализа - охарактеризовать корреляции между переменными, которые являются частным случаем или набором наблюдений. Чтобы переменные были в равной степени, их нормализуют в стандартные баллы :

где выборочное среднее:

а дисперсия выборки определяется как:

Таким образом, модель факторного анализа для этой конкретной выборки:

или, точнее:

куда

  • это в «вербальный интеллект» ЧТ студента,
  • является в ЧТ студента «математический интеллект»,
  • - факторные нагрузки для -го предмета, для .

В матричных обозначениях имеем

Обратите внимание: удвоение шкалы, по которой измеряется «вербальный интеллект» - первый компонент в каждом столбце , и одновременное уменьшение вдвое факторных нагрузок для вербального интеллекта не имеет никакого значения для модели. Таким образом, не теряется общность, если предположить, что стандартное отклонение факторов вербального интеллекта равно . То же самое и с математическим интеллектом. Более того, по схожим причинам не теряется общность, если предположить, что эти два фактора не коррелируют друг с другом. Другими словами:

где - дельта Кронекера ( когда и когда ). Предполагается, что ошибки не зависят от факторов:

Обратите внимание: поскольку любое вращение решения также является решением, это затрудняет интерпретацию факторов. См. Недостатки ниже. В этом конкретном примере, если мы не знаем заранее, что два типа интеллекта не коррелируют, мы не можем интерпретировать эти два фактора как два разных типа интеллекта. Даже если они не коррелируют, мы не можем сказать, какой фактор соответствует вербальному интеллекту, а какой - математическому, без сторонних аргументов.

Значения нагрузок , средние значения и дисперсии «ошибок» должны быть оценены с учетом наблюдаемых данных и (предположение об уровнях факторов фиксировано для данного ). «Основная теорема» может быть получена из приведенных выше условий:

Член слева - это член корреляционной матрицы ( матрица, полученная как произведение матрицы стандартизованных наблюдений с ее транспонированием) наблюдаемых данных, а его диагональные элементы будут s. Второй член справа будет диагональной матрицей с членами меньше единицы. Первый член справа - это «уменьшенная корреляционная матрица» и будет равен корреляционной матрице, за исключением ее диагональных значений, которые будут меньше единицы. Эти диагональные элементы сокращенной корреляционной матрицы называются «общностями» (которые представляют собой долю дисперсии наблюдаемой переменной, которая учитывается факторами):

Разумеется, данные выборки не будут точно подчиняться фундаментальному уравнению, приведенному выше, из-за ошибок выборки, неадекватности модели и т. Д. Цель любого анализа вышеуказанной модели - найти факторы и нагрузки, которые в некотором смысле дать "наилучшее соответствие" данным. В факторном анализе наилучшее соответствие определяется как минимум среднеквадратической ошибки недиагональных остатков корреляционной матрицы:

Это эквивалентно минимизации недиагональных компонентов ковариации ошибок, которые в уравнениях модели имеют ожидаемые значения, равные нулю. Это должно контрастировать с анализом главных компонентов, который стремится минимизировать среднеквадратичную ошибку всех остатков. До появления высокоскоростных компьютеров значительные усилия направлялись на поиск приближенных решений проблемы, особенно при оценке общностей другими способами, что затем значительно упрощает задачу, давая известную сокращенную матрицу корреляции. Затем это было использовано для оценки факторов и нагрузок. С появлением высокоскоростных компьютеров проблема минимизации может быть решена итеративно с достаточной скоростью, а общности вычисляются в процессе, а не требуются заранее. MINRES алгоритм особенно подходит к этой проблеме, но вряд ли единственный итерационные способы нахождения решения.

Если коэффициенты решения могут быть коррелированы (как, например, в случае «oblimin» вращения), то соответствующая математическая модель использует координаты перекоса, а не ортогональные координаты.

Геометрическая интерпретация

Геометрическая интерпретация параметров факторного анализа для 3 респондентов на вопрос «а». «Ответ» представлен единичным вектором , который проецируется на плоскость, определяемую двумя ортонормированными векторами и . Вектор проекции и ошибка перпендикулярны плоскости, так что . Вектор проекции может быть представлен в терминах векторов факторов как . Квадрат длины вектора проекции является коммунальность: . Если бы был нанесен другой вектор данных , косинус угла между и был бы  : -запись в корреляционной матрице. (Адаптировано из Хармана, рис. 4.3)

Параметрам и переменным факторного анализа можно дать геометрическую интерпретацию. Данные ( ), коэффициенты ( ) и ошибки ( ) можно рассматривать как векторы в -мерном евклидовом пространстве (пространство выборки), представленные как , и соответственно. Поскольку данные стандартизированы, векторы данных имеют единичную длину ( ). Факторные векторы определяют -мерное линейное подпространство (т. Е. Гиперплоскость) в этом пространстве, на которое векторы данных проецируются ортогонально. Это следует из модельного уравнения

и независимость факторов и ошибок: . В приведенном выше примере гиперплоскость - это просто 2-мерная плоскость, определяемая двумя факторами-векторами. Проекция векторов данных на гиперплоскость определяется выражением

а ошибки - это векторы от этой проецируемой точки до точки данных и перпендикулярны гиперплоскости. Цель факторного анализа - найти гиперплоскость, которая в некотором смысле «наилучшим образом подходит» к данным, поэтому не имеет значения, как выбираются факторные векторы, которые определяют эту гиперплоскость, если они независимы и лежат в гиперплоскость. Мы можем указать их как ортогональные и нормальные ( ) без потери общности. После того, как подходящий набор факторов найден, они также могут быть произвольно повернуты в пределах гиперплоскости, так что любое вращение векторов факторов будет определять ту же самую гиперплоскость, а также быть решением. В результате в приведенном выше примере, в котором соответствующая гиперплоскость является двумерной, если мы не знаем заранее, что два типа интеллекта не коррелированы, то мы не можем интерпретировать эти два фактора как два разных типа интеллекта. Даже если они не коррелируют, мы не можем сказать, какой фактор соответствует вербальному интеллекту, а какой соответствует математическому интеллекту, или являются ли факторы линейными комбинациями обоих без сторонних аргументов.

Векторы данных имеют единичную длину. Элементы корреляционной матрицы для данных представлены как . Матрицу корреляции можно геометрически интерпретировать как косинус угла между двумя векторами данных и . Очевидно, что диагональные элементы будут s, а недиагональные элементы будут иметь абсолютные значения, меньшие или равные единице. «Редуцированная корреляционная матрица» определяется как

.

Цель факторного анализа - выбрать аппроксимирующую гиперплоскость так, чтобы уменьшенная корреляционная матрица воспроизводила корреляционную матрицу как можно ближе, за исключением диагональных элементов корреляционной матрицы, которые, как известно, имеют единичное значение. Другими словами, цель состоит в том, чтобы как можно точнее воспроизвести взаимные корреляции в данных. В частности, для аппроксимирующей гиперплоскости среднеквадратичная ошибка недиагональных компонентов

должен быть минимизирован, и это достигается путем минимизации его по отношению к набору ортонормированных векторов факторов. Видно, что

Член справа - это просто ковариация ошибок. В модели ковариация ошибки указывается как диагональная матрица, и поэтому вышеупомянутая задача минимизации фактически даст "наилучшее соответствие" модели: она даст выборочную оценку ковариации ошибки, которая имеет свои недиагональные компоненты. минимизированы в среднеквадратическом смысле. Можно видеть, что, поскольку это ортогональные проекции векторов данных, их длина будет меньше или равна длине проецируемого вектора данных, которая равна единице. Квадрат этих длин - это просто диагональные элементы сокращенной корреляционной матрицы. Эти диагональные элементы сокращенной корреляционной матрицы известны как «общности»:

Большие значения общностей будут указывать на то, что аппроксимирующая гиперплоскость довольно точно воспроизводит корреляционную матрицу. Средние значения факторов также должны быть ограничены равными нулю, из чего следует, что средние значения ошибок также будут равны нулю.

Практическая реализация

Виды факторного анализа

Исследовательский факторный анализ

Исследовательский факторный анализ (EFA) используется для выявления сложных взаимосвязей между элементами и элементами группы, которые являются частью единых концепций. Исследователь не делает никаких априорных предположений о взаимосвязи между факторами.

Подтверждающий факторный анализ

Подтверждающий факторный анализ (CFA) - более сложный подход, который проверяет гипотезу о том, что элементы связаны с конкретными факторами. CFA использует моделирование структурным уравнением для проверки модели измерения, при которой нагрузка на факторы позволяет оценить взаимосвязь между наблюдаемыми и ненаблюдаемыми переменными. Подходы к моделированию структурным уравнением могут учитывать ошибку измерения и являются менее строгими, чем оценка методом наименьших квадратов . Предполагаемые модели проверяются на фактических данных, и анализ продемонстрирует нагрузки наблюдаемых переменных на скрытые переменные (факторы), а также корреляцию между скрытыми переменными.

Типы экстракции факторов

Анализ главных компонентов (PCA) - широко используемый метод экстракции факторов, который является первым этапом EFA. Для извлечения максимально возможной дисперсии вычисляются весовые коэффициенты, при этом последующее разложение на множители продолжается до тех пор, пока не исчезнет значимая дисперсия. Затем факторную модель необходимо повернуть для анализа.

Канонический факторный анализ, также называемый каноническим факторингом Рао, - это другой метод вычисления той же модели, что и PCA, который использует метод главной оси. Канонический факторный анализ ищет факторы, которые имеют самую высокую каноническую корреляцию с наблюдаемыми переменными. На канонический факторный анализ не влияет произвольное изменение масштаба данных.

Общий факторный анализ, также называемый анализом главных факторов (PFA) или факторингом по главной оси (PAF), ищет наименьшее количество факторов, которые могут объяснить общую дисперсию (корреляцию) набора переменных.

Факторинг изображений основан на корреляционной матрице прогнозируемых переменных, а не фактических переменных, где каждая переменная прогнозируется на основе других с использованием множественной регрессии .

Альфа-факторинг основан на максимизации надежности факторов при условии, что переменные выбираются случайным образом из множества переменных. Все другие методы предполагают выборку случаев и фиксированные переменные.

Факторная регрессионная модель - это комбинаторная модель факторной модели и регрессионной модели; или, альтернативно, ее можно рассматривать как гибридную факторную модель, факторы которой частично известны.

Терминология

Факторные нагрузки: Общность - это квадрат стандартизированной внешней загрузки предмета. По аналогии с r -квадратом Пирсона, возведенная в квадрат факторная нагрузка представляет собой процент дисперсии в этой индикаторной переменной, объясняемой этим фактором. Чтобы получить процент дисперсии всех переменных, учитываемых каждым фактором, сложите сумму возведенных в квадрат факторных нагрузок для этого фактора (столбец) и разделите на количество переменных. (Обратите внимание, что количество переменных равно сумме их дисперсий, поскольку дисперсия стандартизованной переменной равна 1.) Это то же самое, что и деление собственного значения фактора на количество переменных.

Интерпретация факторных нагрузок: согласно эмпирическому правилу подтверждающего факторного анализа, нагрузки должны быть 0,7 или выше, чтобы подтвердить, что независимые переменные, определенные априори, представлены конкретным фактором, исходя из того, что уровень 0,7 соответствует примерно половине отклонение показателя объясняется фактором. Однако стандарт 0,7 является высоким, и реальные данные могут не соответствовать этому критерию, поэтому некоторые исследователи, особенно в исследовательских целях, будут использовать более низкий уровень, такой как 0,4 для центрального фактора и 0,25 для другие факторы. В любом случае факторные нагрузки следует интерпретировать в свете теории, а не с помощью произвольных уровней отсечения.

При наклонном вращении можно исследовать как матрицу шаблона, так и матрицу структуры. Структурная матрица - это просто матрица факторной нагрузки, как при ортогональном вращении, представляющая дисперсию в измеряемой переменной, объясняемую фактором как на основе уникальных, так и общих вкладов. Матрица шаблонов, напротив, содержит коэффициенты, которые просто представляют уникальные вклады. Чем больше факторов, тем ниже коэффициенты паттерна, как правило, поскольку будут объяснены более общие вклады в дисперсию. Для наклонного вращения исследователь смотрит как на коэффициенты структуры, так и на коэффициенты структуры, приписывая метку фактору. Принципы наклонного вращения могут быть выведены как из перекрестной энтропии, так и из ее двойной энтропии.

Общность: сумма возведенных в квадрат факторных нагрузок для всех факторов для данной переменной (строки) представляет собой дисперсию этой переменной, учитываемую всеми факторами. Общность измеряет процент дисперсии данной переменной, объясняемой всеми факторами в совокупности, и может интерпретироваться как надежность индикатора в контексте предполагаемых факторов.

Ложные решения: если общность превышает 1,0, существует ложное решение, которое может отражать слишком маленькую выборку или выбор извлекать слишком много или слишком мало факторов.

Уникальность переменной: изменчивость переменной за вычетом ее общности.

Собственные значения / характеристические корни: собственные значения измеряют количество вариаций в общей выборке, учитываемых каждым фактором. Отношение собственных значений - это отношение объясняющей важности факторов по отношению к переменным. Если фактор имеет низкое собственное значение, то он мало способствует объяснению дисперсии переменных и может быть проигнорирован как менее важный, чем факторы с более высокими собственными значениями.

Суммы извлечения квадратов нагрузок: Начальные собственные значения и собственные значения после извлечения (перечисленные SPSS как «Суммы извлечения квадратов загрузок») такие же для извлечения PCA, но для других методов извлечения собственные значения после извлечения будут ниже, чем их исходные аналоги. SPSS также печатает «Суммы вращения квадратов нагрузок», и даже для PCA эти собственные значения будут отличаться от исходных и извлеченных собственных значений, хотя их сумма будет такой же.

Оценки факторов (также называемые оценками компонентов в PCA): это оценки каждого случая (строки) по каждому фактору (столбцу). Чтобы вычислить факторную оценку для данного случая для данного фактора, нужно взять стандартизированную оценку случая по каждой переменной, умножить на соответствующие нагрузки переменной для данного фактора и суммировать эти продукты. Вычисление оценок факторов позволяет искать выбросы факторов. Кроме того, факторные оценки могут использоваться в качестве переменных в последующем моделировании. (Объясняется с помощью PCA, а не с точки зрения факторного анализа).

Критерии определения количества факторов

Исследователи хотят избежать таких субъективных или произвольных критериев удержания фактора, как «это имело смысл для меня». Для решения этой проблемы был разработан ряд объективных методов, позволяющих пользователям определить подходящий набор решений для исследования. Методы могут не совпадать. Например, параллельный анализ может предложить 5 факторов, в то время как MAP Велисера предлагает 6, поэтому исследователь может запросить как 5-, так и 6-факторные решения и обсудить каждое с точки зрения их отношения к внешним данным и теории.

Современные критерии

Параллельный анализ Хорна (PA): метод моделирования на основе Монте-Карло, который сравнивает наблюдаемые собственные значения с значениями, полученными из некоррелированных нормальных переменных. Фактор или компонент сохраняется, если соответствующее собственное значение больше 95-го процентиля распределения собственных значений, полученных из случайных данных. PA является одним из наиболее часто рекомендуемых правил для определения количества компонентов, которые необходимо сохранить, но многие программы не включают эту опцию (заметным исключением является R ). Однако Форманн предоставил как теоретические, так и эмпирические доказательства того, что его применение может быть неприемлемым во многих случаях, поскольку его эффективность в значительной степени зависит от размера выборки , различения элементов и типа коэффициента корреляции .

Тест Велисера (1976) MAP, описанный Кортни (2013), «включает полный анализ основных компонентов с последующим исследованием серии матриц частичных корреляций» (стр. 397 (хотя обратите внимание, что эта цитата не встречается в Велисере (1976) ), а номер процитированной страницы находится за пределами страниц цитаты). Квадрат корреляции для шага «0» (см. рисунок 4) - это средний квадрат недиагональной корреляции для непартифицированной корреляционной матрицы. На шаге 1 первый главный компонент и связанные с ним элементы разделяются. После этого средний квадрат недиагональной корреляции для последующей корреляционной матрицы затем вычисляется для шага 1. На шаге 2 первые два главных компонента разделяются, и результирующий средний квадрат недиагональной корреляции снова вычисляется. Вычисления выполняются для k минус один шаг (k представляет собой общее количество переменных в матрице). После этого все средние квадраты корреляций для каждого шага равны li ned up и номер шага в анализе, который привел к наименьшему среднему квадрату частичной корреляции, определяет количество компонентов или факторов, которые необходимо сохранить. С помощью этого метода компоненты сохраняются до тех пор, пока дисперсия в корреляционной матрице представляет систематическую дисперсию, в отличие от дисперсии остатка или ошибки. Хотя методологически метод MAP схож с анализом основных компонентов, он показал себя достаточно хорошо при определении количества факторов, которые необходимо сохранить в нескольких исследованиях моделирования. Эта процедура доступна через пользовательский интерфейс SPSS, так же как психологически пакет для языка программирования R .

Старые методы

Критерий Кайзера: правило Кайзера состоит в том, чтобы отбросить все компоненты с собственными значениями ниже 1,0 - это собственное значение, равное информации, приходящейся на средний отдельный элемент. Критерий Кайзера используется по умолчанию в SPSS и большинстве статистических программ, но не рекомендуется при использовании в качестве единственного критерия отсечения для оценки количества факторов, поскольку он имеет тенденцию к избыточному извлечению факторов. Был создан вариант этого метода, в котором исследователь вычисляет доверительные интервалы для каждого собственного значения и сохраняет только те факторы, у которых весь доверительный интервал превышает 1,0.

Скрите участок : The Cattell осыпи тестовых участки компоненты , как Х-ось и соответствующие собственные значения , как Y-ось . При движении вправо к более поздним компонентам собственные значения уменьшаются. Когда падение прекращается и кривая изгибается в сторону менее крутого спуска, тест на осыпи Кеттелла говорит о необходимости опускать все остальные компоненты после того, который начинается у изгиба. Это правило иногда критикуют за то, что оно поддается « обману », контролируемому исследователями . То есть, поскольку выбор «локтя» может быть субъективным, поскольку кривая имеет несколько изгибов или представляет собой плавную кривую, исследователь может испытать соблазн установить пороговое значение для количества факторов, требуемых его программой исследования.

Критерии объяснения дисперсии: некоторые исследователи просто используют правило сохранения достаточного количества факторов, чтобы составлять 90% (иногда 80%) вариации. В тех случаях, когда цель исследователя подчеркивает экономичность (объяснение дисперсии минимальным количеством факторов), критерий может составлять всего 50%.

Байесовский метод

Байесовский подход, основанный на индийском шведском процессе, возвращает распределение вероятностей по вероятному количеству скрытых факторов.

Методы вращения

Неповоротный вывод максимизирует дисперсию, учитываемую первым и последующими факторами, и заставляет факторы быть ортогональными . Такое сжатие данных происходит за счет того, что большая часть элементов загружается на ранние факторы, и, как правило, из-за того, что многие элементы существенно загружаются более чем одним фактором. Вращение служит для того, чтобы сделать вывод более понятным, путем поиска так называемой «простой структуры»: схемы нагрузок, при которой каждый элемент сильно нагружается только по одному из факторов и намного слабее по другим факторам. Вращения могут быть ортогональными или наклонными (позволяющими соотносить факторы).

Вращение Varimax - это ортогональное вращение осей факторов, чтобы максимизировать дисперсию возведенных в квадрат нагрузок фактора (столбца) по всем переменным (строкам) в матрице факторов, что имеет эффект дифференцирования исходных переменных по извлеченным факторам. Каждый фактор будет иметь либо большие, либо малые нагрузки какой-либо конкретной переменной. Решение Varimax дает результаты, которые максимально упрощают идентификацию каждой переменной с помощью одного фактора. Это наиболее распространенный вариант поворота. Однако ортогональность (т. Е. Независимость) факторов часто является нереалистичным предположением. Наклонные вращения включают ортогональное вращение, и по этой причине наклонные вращения являются предпочтительным методом. Учет факторов, которые коррелируют друг с другом, особенно применимо в психометрических исследованиях, поскольку отношения, мнения и интеллектуальные способности, как правило, коррелированы, и поскольку во многих ситуациях было бы нереалистично предположить иное.

Вращение Quartimax - это ортогональная альтернатива, которая сводит к минимуму количество факторов, необходимых для объяснения каждой переменной. Этот тип вращения часто создает общий фактор, на который в высокой или средней степени загружается большинство переменных. Такая факторная структура обычно не помогает целям исследования.

Ротация Equimax - это компромисс между критериями варимакс и квартимакс.

Прямое вращение облимина является стандартным методом, когда нужно получить неортогональное (наклонное) решение, то есть такое, в котором коэффициенты могут быть коррелированы. Это приведет к более высоким собственным значениям, но уменьшит интерпретируемость факторов. См. ниже.

Вращение Promax - это альтернативный метод неортогонального (наклонного) вращения, который в вычислительном отношении быстрее, чем метод прямого наклона, и поэтому иногда используется для очень больших наборов данных .

Факторный анализ высшего порядка

Факторный анализ высшего порядка - это статистический метод, состоящий из повторяющихся шагов факторного анализа - наклонного вращения - факторного анализа повернутых факторов. Его заслуга в том, чтобы дать возможность исследователю увидеть иерархическую структуру изучаемых явлений. Для интерпретации результатов следует либо последующее умножение матрицы паттернов первичных факторов на матрицы паттернов множителей более высокого порядка (Gorsuch, 1983) и, возможно, применение вращения Varimax к результату (Thompson, 1990), либо использование схемы Шмид-Шмидта. Решение Леймана (SLS, Schmid & Leiman, 1957, также известное как преобразование Шмида-Леймана), приписывающее изменение первичных факторов факторам второго порядка.

В психометрии

История

Чарльз Спирмен был первым психологом, который обсудил общий факторный анализ, и сделал это в своей статье 1904 года. Он предоставил немного подробностей о его методах и был посвящен однофакторным моделям. Он обнаружил, что оценки школьников по широкому кругу, казалось бы, не связанных между собой предметов имеют положительную корреляцию, что привело его к постулату, что одна общая умственная способность, или g , лежит в основе и формирует когнитивные способности человека.

Первоначальное развитие общего факторного анализа с множественными факторами было дано Луи Терстоуном в двух статьях в начале 1930-х годов, резюмированных в его книге 1935 года «Вектор разума» . Терстон представил несколько важных концепций факторного анализа, включая общность, уникальность и ротацию. Он выступал за «простую структуру» и разработал методы вращения, которые можно было использовать как способ достижения такой структуры.

В методологии Q Стивенсон, ученик Спирмена, различает R- факторный анализ, ориентированный на изучение межиндивидуальных различий, и анализ Q- фактора, ориентированный на субъективные внутрииндивидуальные различия.

Раймонд Кеттелл был ярым сторонником факторного анализа и психометрии и использовал многофакторную теорию Терстона для объяснения интеллекта. Кеттел также разработал «осыпной» тест и коэффициенты сходства.

Приложения в психологии

Факторный анализ используется для выявления «факторов», объясняющих различные результаты различных тестов. Например, исследование интеллекта показало, что люди, получившие высокий балл в тесте на вербальные способности, также хороши в других тестах, требующих вербальных способностей. Исследователи объяснили это использованием факторного анализа для выделения одного фактора, часто называемого вербальным интеллектом, который представляет степень, в которой кто-то может решать проблемы, связанные с вербальными навыками.

Факторный анализ в психологии чаще всего связан с исследованием интеллекта. Тем не менее, он также использовался для поиска факторов в широком диапазоне областей, таких как личность, отношения, убеждения и т. Д. Он связан с психометрикой , поскольку может оценить валидность инструмента, выясняя, действительно ли инструмент измеряет постулируемые факторы.

Факторный анализ - часто используемый метод в межкультурных исследованиях. Он служит для извлечения культурных аспектов . Самыми известными моделями культурных измерений являются модели, разработанные Гиртом Хофстеде , Рональдом Инглхартом , Кристианом Вельзелем , Шаломом Шварцем и Майклом Минковым.

Преимущества

  • Уменьшение количества переменных за счет объединения двух или более переменных в один фактор. Например, результаты в беге, метании мяча, отбивании, прыжках и поднятии тяжестей можно объединить в один фактор, такой как общие спортивные способности. Обычно в матрице элементов по людям факторы выбираются путем группировки связанных элементов. В методе анализа Q-фактора матрица транспонируется, и факторы создаются путем группирования связанных людей. Например, либералы, либертарианцы, консерваторы и социалисты могут объединиться в отдельные группы.
  • Идентификация групп взаимосвязанных переменных, чтобы увидеть, как они связаны друг с другом. Например, Кэрролл использовал факторный анализ для построения своей теории трех слоев . Он обнаружил, что фактор, называемый «широкое зрительное восприятие», относится к тому, насколько хорошо человек справляется с визуальными задачами. Он также обнаружил фактор «широкого слухового восприятия», относящийся к способности слуховой задачи. Кроме того, он обнаружил глобальный фактор, называемый «g», или общий интеллект, который относится как к «широкому зрительному восприятию», так и «широкому слуховому восприятию». Это означает, что человек с высоким «g», вероятно, будет обладать как высокой способностью «зрительного восприятия», так и высокой способностью «слухового восприятия», и что «g», таким образом, объясняет хорошую часть того, почему кто-то хороший или плохой в обоих аспектах. эти домены.

Недостатки

  • «... каждая ориентация одинаково приемлема математически. Но оказалось, что разные факторные теории различаются как в отношении ориентации факторных осей для данного решения, так и в отношении чего-либо еще, так что подгонка модели не оказалась полезной в различая теории ". (Штернберг, 1977). Это означает, что все ротации представляют различные базовые процессы, но все ротации являются одинаково действительными результатами стандартной оптимизации факторного анализа. Следовательно, невозможно выбрать правильное вращение, используя только факторный анализ.
  • Факторный анализ может быть настолько хорош, насколько позволяют данные. В психологии, где исследователям часто приходится полагаться на менее достоверные и надежные меры, такие как самоотчеты, это может быть проблематичным.
  • Интерпретация факторного анализа основана на использовании «эвристики», которая представляет собой решение, которое «удобно, даже если не совсем верно». Можно сделать более одной интерпретации одних и тех же данных с одинаковым факторингом, и факторный анализ не может выявить причинно-следственную связь.

Исследовательский факторный анализ (EFA) в сравнении с анализом главных компонентов (PCA)

Факторный анализ связан с анализом главных компонентов (PCA), но они не идентичны. В этой области существуют значительные разногласия по поводу различий между двумя методами. PCA можно рассматривать как более простую версию исследовательского факторного анализа (EFA), который был разработан в первые дни до появления высокоскоростных компьютеров. И PCA, и факторный анализ нацелены на уменьшение размерности набора данных, но подходы, используемые для этого, различны для этих двух методов. Факторный анализ четко разработан с целью выявления некоторых ненаблюдаемых факторов из наблюдаемых переменных, тогда как PCA напрямую не решает эту задачу; в лучшем случае PCA обеспечивает приближение к требуемым факторам. С точки зрения исследовательского анализа, собственные значения PCA - это завышенные нагрузки компонентов, т. Е. Загрязненные дисперсией ошибок.

Хотя EFA и PCA рассматриваются как синонимы в некоторых областях статистики, это подвергается критике. Факторный анализ «имеет дело с допущением о лежащей в основе причинной структуре : [он] предполагает, что ковариация в наблюдаемых переменных обусловлена ​​наличием одной или нескольких скрытых переменных (факторов), которые оказывают причинное влияние на эти наблюдаемые переменные». Напротив, PCA не предполагает и не зависит от такой лежащей в основе причинно-следственной связи. Исследователи утверждали, что различия между двумя методами могут означать, что есть объективные преимущества от предпочтения одного перед другим на основе аналитической цели. Если факторная модель сформулирована неправильно или предположения не выполняются, то факторный анализ даст ошибочные результаты. Факторный анализ успешно применялся там, где адекватное понимание системы позволяет правильно сформулировать исходную модель. PCA использует математическое преобразование исходных данных без каких-либо предположений о форме ковариационной матрицы. Задача PCA - определить линейные комбинации исходных переменных и выбрать несколько, которые можно использовать для обобщения набора данных без потери большого количества информации.

Аргументы, противопоставляющие PCA и EFA

Fabrigar et al. (1999) обращаются к ряду причин, по которым PCA не эквивалентен факторному анализу:

  1. Иногда предполагается, что PCA быстрее в вычислительном отношении и требует меньше ресурсов, чем факторный анализ. Fabrigar et al. предполагают, что легкодоступные компьютерные ресурсы сделали эту практическую проблему неуместной.
  2. PCA и факторный анализ могут дать аналогичные результаты. К этому вопросу также обращаются Fabrigar et al .; в некоторых случаях, когда общности низкие (например, 0,4), эти два метода дают разные результаты. Фактически, Fabrigar et al. утверждают, что в случаях, когда данные соответствуют предположениям общей факторной модели, результаты PCA являются неточными.
  3. Есть определенные случаи, когда факторный анализ приводит к «случаям Хейвуда». Сюда входят ситуации, когда 100% или более дисперсии измеряемой переменной оценивается как учет модели. Fabrigar et al. предполагают, что эти случаи действительно информативны для исследователя, указывая на неверно заданную модель или нарушение модели общего фактора. Отсутствие случаев Хейвуда в подходе PCA может означать, что такие проблемы останутся незамеченными.
  4. Исследователи получают дополнительную информацию от подхода PCA, такую ​​как индивидуальный балл по определенному компоненту; такая информация не получается из факторного анализа. Однако, как отмечает Fabrigar et al. утверждают, что типичная цель факторного анализа - то есть определение факторов, определяющих структуру корреляций между измеряемыми переменными - не требует знания факторных оценок, и, таким образом, это преимущество сводится на нет. Также возможно вычислить факторные оценки на основе факторного анализа.

Дисперсия против ковариации

Факторный анализ учитывает случайную ошибку , присущую измерению, тогда как PCA этого не делает. Этот момент проиллюстрирован Брауном (2009), который указал, что в отношении корреляционных матриц, участвующих в расчетах:

"В PCA 1,00 ставятся по диагонали, что означает, что должна быть учтена вся дисперсия в матрице (включая дисперсию, уникальную для каждой переменной, дисперсию, общую для переменных, и дисперсию ошибок). Следовательно, это будет по определению , включают в себя все отклонения в переменных. Напротив, в EFA общности помещаются по диагонали, что означает, что учитывается только дисперсия, разделяемая с другими переменными (за исключением дисперсии, уникальной для каждой переменной, и дисперсии ошибок). поэтому по определению будет включать только дисперсию, которая является общей для переменных ".

-  Браун (2009), Анализ основных компонентов и исследовательский факторный анализ - Определения, различия и выбор

По этой причине Браун (2009) рекомендует использовать факторный анализ, когда существуют теоретические идеи о взаимосвязях между переменными, тогда как PCA следует использовать, если целью исследователя является изучение закономерностей в их данных.

Различия в процедуре и результатах

Различия между PCA и факторным анализом (FA) дополнительно проиллюстрированы Suhr (2009):

  • PCA приводит к основным компонентам, которые объясняют максимальную дисперсию наблюдаемых переменных; FA учитывает общие расхождения в данных.
  • PCA вставляет единицы на диагоналях корреляционной матрицы; FA корректирует диагонали корреляционной матрицы с помощью уникальных факторов.
  • PCA минимизирует сумму квадратов перпендикулярных расстояний к оси компонента; FA оценивает факторы, которые влияют на реакцию на наблюдаемые переменные.
  • Баллы компонентов в PCA представляют собой линейную комбинацию наблюдаемых переменных, взвешенных по собственным векторам ; наблюдаемые переменные в FA представляют собой линейные комбинации лежащих в основе и уникальных факторов.
  • В PCA полученные компоненты не интерпретируемы, т. Е. Они не представляют собой лежащие в основе «конструкции»; в FA лежащие в основе конструкции могут быть помечены и легко интерпретированы при наличии точной спецификации модели.


В маркетинге

Основные шаги:

Сбор информации

Стадия сбора данных обычно выполняется профессионалами в области маркетинговых исследований. Вопросы анкеты просят респондента оценить образец продукта или описания концепций продукта по ряду атрибутов. Выбирается от пяти до двадцати атрибутов. Они могут включать в себя такие вещи, как простота использования, вес, точность, долговечность, цветность, цена или размер. Выбранные атрибуты будут различаться в зависимости от изучаемого продукта. Тот же вопрос задается обо всех продуктах в исследовании. Данные для нескольких продуктов кодируются и вводятся в статистическую программу, такую ​​как R , SPSS , SAS , Stata , STATISTICA , JMP и SYSTAT.

Анализ

Анализ позволит выделить основные факторы, объясняющие данные, с помощью матрицы ассоциаций. Факторный анализ - это метод взаимозависимости. Рассматривается полный набор взаимозависимых отношений. Нет спецификации зависимых переменных, независимых переменных или причинно-следственной связи. Факторный анализ предполагает, что все рейтинговые данные по различным атрибутам могут быть сокращены до нескольких важных измерений. Это сокращение возможно, потому что некоторые атрибуты могут быть связаны друг с другом. Рейтинг, присвоенный какому-либо одному атрибуту, частично является результатом влияния других атрибутов. Статистический алгоритм разбивает рейтинг (так называемый исходный балл) на его различные компоненты и реконструирует частичные баллы в баллы основных факторов. Степень корреляции между исходной необработанной оценкой и окончательной факторной оценкой называется факторной нагрузкой .

Преимущества

  • Могут использоваться как объективные, так и субъективные атрибуты при условии, что субъективные атрибуты могут быть преобразованы в баллы.
  • Факторный анализ может выявить скрытые измерения или конструкции, которые прямой анализ не может.
  • Это просто и недорого.

Недостатки

  • Полезность зависит от способности исследователей собрать достаточный набор атрибутов продукта. Если важные атрибуты исключены или игнорируются, ценность процедуры снижается.
  • Если наборы наблюдаемых переменных очень похожи друг на друга и отличаются от других элементов, факторный анализ присвоит им один фактор. Это может скрыть факторы, которые представляют более интересные отношения.
  • Факторы именования могут потребовать знания теории, потому что кажущиеся несходными атрибуты могут сильно коррелировать по неизвестным причинам.

В физических и биологических науках

Факторный анализ также широко используется в физических науках, таких как геохимия , гидрохимия , астрофизика и космология , а также в биологических науках, таких как экология , молекулярная биология , нейробиология и биохимия .

При управлении качеством подземных вод важно соотнести пространственное распределение различных химических параметров с различными возможными источниками, которые имеют разные химические сигнатуры. Например, сульфидный рудник может быть связан с высоким уровнем кислотности, растворенными сульфатами и переходными металлами. Эти сигнатуры могут быть идентифицированы как факторы посредством факторного анализа в R-режиме, а расположение возможных источников может быть предложено путем контурирования оценок факторов.

В геохимии разные факторы могут соответствовать разным минеральным ассоциациям и, следовательно, минерализации.

В анализе микрочипов

Факторный анализ можно использовать для обобщения данных микромассивов олигонуклеотидной ДНК высокой плотности на уровне зонда для Affymetrix GeneChips. В этом случае скрытая переменная соответствует концентрации РНК в образце.

Реализация

С 1980-х годов факторный анализ был реализован в нескольких программах статистического анализа:

Смотрите также

использованная литература

дальнейшее чтение

внешние ссылки