Векторная космическая модель - Vector space model

Модель векторного пространства или векторная модель термина - это алгебраическая модель для представления текстовых документов (и любых объектов в целом) в виде векторов идентификаторов (таких как термины индекса). Он используется в информационной фильтрации , поиска информации , индексации и релевантности рейтинга. Его первое использование было в системе поиска информации SMART .

Определения

Документы и запросы представлены в виде векторов.

${\ displaystyle d_ {j} = (w_ {1, j}, w_ {2, j}, \ dotsc, w_ {t, j})}$

${\ displaystyle q = (w_ {1, q}, w_ {2, q}, \ dotsc, w_ {n, q})}$

Каждому измерению соответствует отдельный термин. Если термин встречается в документе, его значение в векторе не равно нулю. Было разработано несколько различных способов вычисления этих значений, также известных как (термины) веса. Одна из самых известных схем - взвешивание tf-idf (см. Пример ниже).

Определение термина зависит от приложения. Обычно термины представляют собой отдельные слова, ключевые слова или более длинные фразы. Если в качестве терминов выбраны слова, размерность вектора - это количество слов в словаре (количество различных слов, встречающихся в корпусе ).

Векторные операции можно использовать для сравнения документов с запросами.

Приложения

Значимость рейтинг документов в поиске по ключевому слову можно рассчитать, используя предположение документа Сходства теории, сравнивая отклонения углов между каждым вектором документа и исходным вектором запроса , где запрос представляются в виде вектора с тем же размерностью, что и векторы, представляют другие документы.

На практике проще вычислить косинус угла между векторами, чем сам угол:

${\ displaystyle \ cos {\ theta} = {\ frac {\ mathbf {d_ {2}} \ cdot \ mathbf {q}} {\ left \ | \ mathbf {d_ {2}} \ right \ | \ left \ | \ mathbf {q} \ right \ |}}}$

Где - пересечение (т.е. скалярное произведение ) векторов документа (d ₂ на рисунке справа) и запроса (q на рисунке), это норма вектора d ₂ и норма вектора q. Норма вектора вычисляется так: ${\ Displaystyle \ mathbf {d_ {2}} \ cdot \ mathbf {q}}$${\ Displaystyle \ влево \ | \ mathbf {d_ {2}} \ вправо \ |}$${\ Displaystyle \ влево \ | \ mathbf {д} \ вправо \ |}$

${\ displaystyle \ left \ | \ mathbf {q} \ right \ | = {\ sqrt {\ sum _ {i = 1} ^ {n} q_ {i} ^ {2}}}}$

Используя косинус, сходство между документом d _j и запросом q можно рассчитать как:

${\ displaystyle \ mathrm {cos} (d_ {j}, q) = {\ frac {\ mathbf {d_ {j}} \ cdot \ mathbf {q}} {\ left \ | \ mathbf {d_ {j}} \ right \ | \ left \ | \ mathbf {q} \ right \ |}} = {\ frac {\ sum _ {i = 1} ^ {N} w_ {i, j} w_ {i, q}} { {\ sqrt {\ sum _ {i = 1} ^ {N} w_ {i, j} ^ {2}}} {\ sqrt {\ sum _ {i = 1} ^ {N} w_ {i, q} ^ {2}}}}}}$

Поскольку все векторы, рассматриваемые в этой модели, являются неотрицательными по элементам, значение косинуса, равное нулю, означает, что вектор запроса и документа ортогональны и не имеют совпадений (т. Е. Термин запроса не существует в рассматриваемом документе). См. Косинусное подобие для получения дополнительной информации.

Термин частотно-обратно пропорциональный весовой коэффициент частоты документа

В классической модели векторного пространства, предложенной Салтоном , Вонгом и Янгом, веса терминов в векторах документа являются произведениями локальных и глобальных параметров. Эта модель известна как частотно-обратная частотная модель документа . Вектор веса для документа d равен , где ${\ displaystyle \ mathbf {v} _ {d} = [w_ {1, d}, w_ {2, d}, \ ldots, w_ {N, d}] ^ {T}}$

${\ displaystyle w_ {t, d} = \ mathrm {tf} _ {t, d} \ cdot \ log {\ frac {| D |} {| \ {d '\ in D \, | \, t \ in d '\} |}}}$

а также

• ${\ displaystyle \ mathrm {tf} _ {t, d}}$частота термина t в документе d (локальный параметр)
• ${\ displaystyle \ log {\ frac {| D |} {| \ {d '\ in D \, | \, t \ in d' \} |}}}$- обратная частота документа (глобальный параметр). - общее количество документов в наборе документов; - количество документов, содержащих термин t .${\ displaystyle | D |}$${\ Displaystyle | \ {д '\ в д \, | \, т \ в д' \} |}$

Преимущества

Модель векторного пространства имеет следующие преимущества перед стандартной булевой моделью :

1. Простая модель на основе линейной алгебры
2. Веса терминов не двоичные
3. Позволяет вычислять постоянную степень сходства между запросами и документами
4. Позволяет ранжировать документы в соответствии с их возможной релевантностью
5. Допускает частичное совпадение

Большинство из этих преимуществ является следствием разницы в плотности представления коллекции документов между логическим подходом и подходом, обратным частотности термина. При использовании логических весов любой документ лежит в вершине n-мерного гиперкуба . Следовательно, возможные представления документов равны, а максимальное евклидово расстояние между парами равно . По мере добавления документов в коллекцию документов область, определяемая вершинами гиперкуба, становится более населенной и, следовательно, более плотной. В отличие от логического типа, когда документ добавляется с использованием весов частот, обратных к частоте, обратные частоты терминов в новом документе уменьшаются, в то время как частота остальных терминов увеличивается. В среднем по мере добавления документов область расположения документов расширяется, регулируя плотность представления всей коллекции. Такое поведение моделирует исходную мотивацию Солтона и его коллег, что коллекция документов, представленная в области с низкой плотностью, может дать лучшие результаты поиска. ${\ Displaystyle 2 ^ {п}}$${\ displaystyle {\ sqrt {n}}}$

Ограничения

Модель векторного пространства имеет следующие ограничения:

1. Длинные документы плохо представлены, потому что у них плохие значения сходства (небольшое скалярное произведение и большая размерность )
2. Ключевые слова для поиска должны точно соответствовать условиям документа; подстроки слов могут привести к « ложноположительному совпадению»
3. Семантическая чувствительность; документы с аналогичным контекстом, но с другим словарем терминов не будут связаны, что приведет к « ложноотрицательному совпадению».
4. Порядок, в котором термины появляются в документе, теряется в представлении векторного пространства.
5. Теоретически предполагает, что термины статистически независимы.
6. Взвешивание интуитивно понятно, но не очень формально.

Однако многие из этих трудностей можно преодолеть за счет интеграции различных инструментов, включая математические методы, такие как разложение по сингулярным числам, и лексические базы данных, такие как WordNet .

Модели, основанные на модели векторного пространства и расширяющие ее

Модели, основанные на модели векторного пространства и расширяющие ее, включают:

• Обобщенная модель векторного пространства
• Скрытый семантический анализ
• Срок
• Классификация Роккио
• Случайная индексация

Программное обеспечение, реализующее модель векторного пространства

Следующие программные пакеты могут быть интересны тем, кто хочет поэкспериментировать с векторными моделями и реализовать на их основе поисковые сервисы.

Бесплатное программное обеспечение с открытым исходным кодом

• Apache Lucene . Apache Lucene - это высокопроизводительная полнофункциональная библиотека текстового поискового движка с открытым исходным кодом, полностью написанная на Java.
• Elasticsearch и Solr  : 2 самых известных программного обеспечения для поисковых систем (существует множество меньших), основанных на Lucene.
• Gensim - это среда Python + NumPy для моделирования векторного пространства. Он содержит инкрементные (эффективные с точки зрения памяти) алгоритмы для определения частоты терминов с обратной частотой документов , скрытого семантического индексирования , случайных прогнозов и скрытого распределения Дирихле .
• Weka . Weka - популярный пакет интеллектуального анализа данных для Java, включая модели WordVectors и Bag Of Words .
• Word2vec . Word2vec использует векторные пространства для встраивания слов.

дальнейшее чтение

• Дж. Солтон (1962), « Некоторые эксперименты по созданию словесных и документальных ассоциаций » Proceeding AFIPS '62 (Fall) Proceedings of the 4–6 декабря 1962, осенняя совместная компьютерная конференция , страницы 234–250. (Ранняя работа Солтона, использующая формализацию матрицы термина-документа)
• Г. Солтон , А. Вонг и К. С. Ян (1975), " Модель векторного пространства для автоматического индексирования " Связь ACM , т. 18, н. 11, страницы 613–620. (Статья, в которой была представлена ​​модель векторного пространства)
• Дэвид Дубин (2004), Самая влиятельная статья, которую никогда не писал Джерард Салтон (объясняет историю модели векторного пространства и отсутствие часто цитируемой публикации)
• Описание модели векторного пространства
• Описание классической модели векторного пространства доктором Э. Гарсиа
• Связь поиска в векторном пространстве с поиском "k-ближайшего соседа"

Смотрите также

использованная литература