Нормирующая постоянная - Normalizing constant

Понятие нормирующей константы возникает в теории вероятностей и во множестве других областей математики . Нормализующая константа используется для сведения любой функции вероятности к функции плотности вероятности с полной вероятностью, равной единице.

Определение

В теории вероятностей , нормализующая константа является константой , с помощью которого всюду неотрицательная функция должна быть умножена так что площадь под графиком 1, например, чтобы сделать его функцию плотности вероятности или функцию вероятности массы .

Примеры

Если мы начнем с простой функции Гаусса

имеем соответствующий гауссов интеграл

Теперь, если мы используем обратное значение последнего как нормирующую константу для первого, определяя функцию как

так что его интеграл равен единице

тогда функция является функцией плотности вероятности. Это плотность стандартного нормального распределения . ( Стандарт в данном случае означает, что ожидаемое значение равно 0, а дисперсия - 1.)

Константа - нормирующая постоянная функции .

Сходным образом,

и следовательно

является функцией массы вероятности на множестве всех неотрицательных целых чисел. Это функция массы вероятности распределения Пуассона с математическим ожиданием λ.

Обратите внимание, что если функция плотности вероятности является функцией различных параметров, то это также будет ее нормирующая константа. Параметризованная нормирующая постоянная для распределения Больцмана играет центральную роль в статистической механике . В этом контексте нормализующая константа называется статистической суммой .

Теорема Байеса

Теорема Байеса гласит, что апостериорная вероятностная мера пропорциональна произведению априорной вероятностной меры и функции правдоподобия . Пропорциональность к подразумевает, что нужно умножить или разделить на нормирующую константу, чтобы присвоить меру 1 всему пространству, т. Е. Получить вероятностную меру. В простом дискретном случае имеем

где P (H 0 ) - априорная вероятность того, что гипотеза верна; P (D | H 0 ) - это условная вероятность данных с учетом того, что гипотеза верна, но с учетом того, что данные известны, это вероятность гипотезы (или ее параметров) с учетом данных; P (H 0 | D) - апостериорная вероятность того, что гипотеза верна с учетом данных. P (D) должно быть вероятностью получения данных, но само по себе его сложно вычислить, поэтому альтернативный способ описать эту взаимосвязь как один из пропорциональных:

Поскольку P (H | D) является вероятностью, сумма по всем возможным (взаимоисключающим) гипотезам должна быть равна 1, что приводит к выводу, что

В этом случае величина , обратная величине

- нормирующая постоянная . Его можно расширить от счетного числа гипотез до несчетного числа, заменив сумму интегралом.

Для конкретности существует множество методов оценки нормирующей постоянной для практических целей. Методы включают метод промежуточной выборки, наивную оценку Монте-Карло, оценку обобщенного гармонического среднего и выборку по важности.

Невозможно использовать

Эти многочлены Лежандра характеризуется ортогональностью относительно равномерной меры на интервале [- 1, 1] , и тот факт , что они нормированные так , что их значение в 1 равно 1. Константе , с помощью которого умножить многочлен так ее значение в 1 = 1 - нормализующая константа.

Ортонормированные функции нормализованы так, что

относительно некоторого внутреннего произведения < fg >.

Константа 1 / 2 используется для определения гиперболических функций ch и sinh из длин смежных и противоположных сторон гиперболического треугольника .

Смотрите также

Примечания

использованная литература