Расстояние Бхаттачарьи - Bhattacharyya distance

В статистике , то Бхаттачариа расстояние измеряет сходство двух вероятностных распределений . Это тесно связано с коэффициентом Бхаттачарьи, который является мерой степени перекрытия между двумя статистическими выборками или популяциями. Оба показателя названы в честь Анила Кумара Бхаттачарьи , статистика , работавшего в 1930-х годах в Индийском статистическом институте . Он разработал метод измерения расстояния между двумя ненормальными распределениями и проиллюстрировал это с помощью классических полиномиальных совокупностей, а также распределений вероятностей, которые абсолютно непрерывны относительно меры Лебега. Последняя работа частично появилась в 1943 г. в Бюллетене Калькуттского математического общества [т. 35, pp. 99-109], тогда как первая часть, несмотря на то, что была представлена к публикации в 1941 году, появилась почти пятью годами позже в Sankhya [vol. 7, 1946, pp. 401-406].

Коэффициент может использоваться для определения относительной близости двух рассматриваемых выборок. Он используется для измерения разделимости классов при классификации и считается более надежным, чем расстояние Махаланобиса , поскольку расстояние Махаланобиса является частным случаем расстояния Бхаттачарьи, когда стандартные отклонения двух классов одинаковы. Следовательно, когда два класса имеют одинаковые средние значения, но разные стандартные отклонения, расстояние Махаланобиса будет стремиться к нулю, тогда как расстояние Бхаттачарьи растет в зависимости от разницы между стандартными отклонениями.

Определение

Для вероятностных распределений p и q в одной и той же области X расстояние Бхаттачарьи определяется как

{\ Displaystyle D_ {B} (p, q) = - \ ln \ left (BC (p, q) \ right)}

куда

{\ displaystyle BC (p, q) = \ sum _ {x \ in X} {\ sqrt {p (x) q (x)}}}

- коэффициент Бхаттачарьи для дискретных распределений вероятностей .

Для непрерывных распределений вероятностей коэффициент Бхаттачарьи определяется как

{\ Displaystyle BC (p, q) = \ int {\ sqrt {p (x) q (x)}} \, dx}

В любом случае и . не подчиняется неравенству треугольника , но расстояние Хеллингера , которое задается, подчиняется неравенству треугольника. ${\ Displaystyle 0 \ Leq BC \ Leq 1}$ ${\ Displaystyle 0 \ Leq D_ {B} \ leq \ infty}$ ${\ displaystyle D_ {B}}$ ${\ displaystyle {\ sqrt {1-BC (p, q)}}}$

В своей простейшей формулировке расстояние Бхаттачарьи между двумя классами при нормальном распределении может быть вычислено путем извлечения среднего значения и дисперсии двух отдельных распределений или классов:

{\ displaystyle D_ {B} (p, q) = {\ frac {1} {4}} \ ln \ left ({\ frac {1} {4}} \ left ({\ frac {\ sigma _ {p } ^ {2}} {\ sigma _ {q} ^ {2}}} + {\ frac {\ sigma _ {q} ^ {2}} {\ sigma _ {p} ^ {2}}} + 2 \ right) \ right) + {\ frac {1} {4}} \ left ({\ frac {(\ mu _ {p} - \ mu _ {q}) ^ {2}} {\ sigma _ {p } ^ {2} + \ sigma _ {q} ^ {2}}} \ right)}

куда:

${\ displaystyle \ sigma _ {p} ^ {2}}$	- дисперсия p -го распределения,
${\ displaystyle \ mu _ {p}}$	- среднее значение p -го распределения, а
${\ displaystyle p, q}$	это два разных дистрибутива.

Расстояние Махаланобиса, используемое в линейном дискриминантном анализе Фишера, является частным случаем расстояния Бхаттачарьи.

Для многомерных нормальных распределений , ${\ displaystyle p_ {i} = {\ mathcal {N}} ({\ boldsymbol {\ mu}} _ {i}, \, {\ boldsymbol {\ Sigma}} _ {i})}$

{\ displaystyle D_ {B} = {1 \ более 8} ({\ boldsymbol {\ mu}} _ {1} - {\ boldsymbol {\ mu}} _ {2}) ^ {T} {\ boldsymbol {\ Sigma}} ^ {- 1} ({\ boldsymbol {\ mu}} _ {1} - {\ boldsymbol {\ mu}} _ {2}) + {1 \ over 2} \ ln \, \ left ({ \ det {\ boldsymbol {\ Sigma}} \ over {\ sqrt {\ det {\ boldsymbol {\ Sigma}} _ {1} \, \ det {\ boldsymbol {\ Sigma}} _ {2}}}} \ Правильно),}

где и - средние и ковариации распределений, а ${\ Displaystyle {\ boldsymbol {\ mu}} _ {я}}$ ${\ Displaystyle {\ boldsymbol {\ Sigma}} _ {я}}$

{\ displaystyle {\ boldsymbol {\ Sigma}} = {{\ boldsymbol {\ Sigma}} _ {1} + {\ boldsymbol {\ Sigma}} _ {2} \ over 2}.}

Обратите внимание, что в этом случае первый член расстояния Бхаттачарьи связан с расстоянием Махаланобиса .

Коэффициент Бхаттачарьи

Коэффициент Бхаттачарьи - это приблизительное измерение степени перекрытия между двумя статистическими выборками. Коэффициент может использоваться для определения относительной близости двух рассматриваемых выборок.

Расчет коэффициента Бхаттачарьи включает элементарную форму интегрирования перекрытия двух выборок. Интервал значений двух выборок разбивается на выбранное количество разделов , и количество членов каждой выборки в каждом разделе используется в следующей формуле:

{\ displaystyle BC (\ mathbf {p}, \ mathbf {q}) = \ sum _ {i = 1} ^ {n} {\ sqrt {p_ {i} q_ {i}}},}

где, учитывая выборки p и q , n - количество разделов, а , - количество членов выборок p и q в i -м разделе. ${\ displaystyle p_ {i}}$ ${\ displaystyle q_ {i}}$

Следовательно, эта формула больше для каждого раздела, в котором есть элементы из обеих выборок, и больше для каждого раздела, который имеет большое перекрытие двух элементов в нем. Выбор количества разделов зависит от количества членов в каждом образце; слишком мало разделов потеряет точность из-за переоценки области перекрытия, а слишком много разделов потеряют точность из-за создания отдельных разделов без элементов, несмотря на то, что они находятся в густонаселенном пространстве выборки.

Коэффициент Бхаттачарьи будет равен 0, если нет никакого перекрытия из-за умножения на ноль в каждом разделе. Это означает, что расстояние между полностью разделенными образцами не будет зависеть только от этого коэффициента.

Коэффициент Бхаттачарьи используется при построении полярных кодов .

Приложения

Расстояние Бхаттачарьи широко используется в исследованиях выделения и выбора признаков, обработки изображений, распознавания говорящих и кластеризации телефонов.

«Пространство Бхаттачарьи» было предложено в качестве метода выбора признаков, который можно применять для сегментации текстуры.

Смотрите также

использованная литература

Nielsen, F .; Больц, С. (2010). «Центроиды Бурбеа-Рао и Бхаттачарья». IEEE Transactions по теории информации . 57 (8): 5455–5466. arXiv : 1004.5049 . DOI : 10.1109 / TIT.2011.2159046 .

Кайлат, Т. (1967). «Расхождение и меры расстояния Бхаттачарьи в выборе сигнала». IEEE Transactions по коммуникационным технологиям . 15 (1): 52–60. DOI : 10.1109 / TCOM.1967.1089532 .

Djouadi, A .; Snorrason, O .; Гарбер, Ф. (1990). «Качество обучающей выборки оценок коэффициента Бхаттачарьи». IEEE Transactions по анализу шаблонов и машинному анализу . 12 (1): 92–97. DOI : 10.1109 / 34.41388 .

Краткий список свойств см. По адресу : http://www.mtm.ufsc.br/~taneja/book/node20.html.

Languages

In other projects