Метод Лапласа - Laplace's method

В математике , метод Лапласа , названный после того, как Лаплас , является методом , используемым для аппроксимации интегралов вида

где - дважды дифференцируемая функция , M - большое число, а конечные точки a и b могут быть бесконечными. Первоначально эта техника была представлена ​​у Лапласа (1774 г.) .

В статистике байесовской , Лаплас приближение относится к применению метода Лапласа для аппроксимации апостериорного распределения с гауссовым центром в максимуме апостериорной оценки .

Идея метода Лапласа

имеет глобальный максимум на 0. отображается вверху для M  = 0,5 и внизу для M  = 3 (оба синего цвета). По мере роста M приближение этой функции функцией Гаусса (показано красным) улучшается. Это наблюдение лежит в основе метода Лапласа.

Предположим, что функция имеет единственный глобальный максимум в точке x 0 . Позвольте быть константой и рассмотрим следующие две функции:

Обратите внимание, что x 0 также будет глобальным максимумом для и . Теперь обратите внимание:

По мере увеличения M отношение for будет экспоненциально расти, а отношение for не изменится. Таким образом, значительный вклад в интеграл этой функции будет исходить только от точки х в окрестностях из й 0 , который затем может быть оценены.

Общая теория метода Лапласа

Чтобы сформулировать и мотивировать метод, нам потребуется несколько предположений. Мы будем предполагать, что x 0 не является конечной точкой интервала интегрирования, что значения не могут быть очень близкими к, если x не близок к x 0 , и что

Мы можем разложить вокруг x 0 по теореме Тейлора ,

где (см .: большое обозначение O ).

Поскольку имеет глобальный максимум в x 0 , и поскольку x 0 не является конечной точкой, это стационарная точка , поэтому производная от обращается в нуль в x 0 . Следовательно, функция может быть приближена к квадратичному порядку

для x, близкого к x 0 (напомним ). Предположения обеспечивают точность приближения

(см. картинку справа). Этот последний интеграл является гауссовским интегралом, если пределы интегрирования изменяются от −∞ до + ∞ (что можно предположить, поскольку экспонента очень быстро затухает при удалении от x 0 ), и, таким образом, его можно вычислить. Мы нашли

Обобщение этого метода и его расширение до произвольной точности предоставлено Фогом (2008) .

Официальное заявление и доказательство

Предположим, что это дважды непрерывно дифференцируемая функция на и существует единственная точка такая, что:

Потом:

Доказательство

Нижняя граница: Пусть . Поскольку непрерывно, существует такое, что если то По теореме Тейлора для любого

Тогда у нас есть следующая нижняя оценка:

где последнее равенство получено заменой переменных

Помните, что мы можем извлечь квадратный корень из отрицания.

Если разделить обе части указанного неравенства на

и возьмем предел, получим:

так как это верно для произвольного, получаем нижнюю оценку:

Обратите внимание, что это доказательство также работает, когда или (или и то, и другое).

Верхняя оценка: доказательство аналогично доказательству нижней оценки, но с некоторыми неудобствами. Мы снова начинаем с выбора, но для того, чтобы доказательство работало, нам нужно достаточно маленькое, чтобы Тогда, как и выше, по непрерывности и теореме Тейлора, мы можем найти так, что если , то

Наконец, по нашим предположениям (при условии, что они конечны) существует такое, что если , то .

Затем мы можем вычислить следующую верхнюю границу:

Если разделить обе части указанного неравенства на

и возьмем предел, получим:

Поскольку произвольно, получаем верхнюю границу:

И объединение этого с нижней границей дает результат.

Обратите внимание, что приведенное выше доказательство, очевидно, терпит неудачу, когда или (или и то, и другое). Чтобы разобраться в этих случаях, нам нужны дополнительные предположения. Достаточным (не необходимым) предположением является то, что для

и что указанное выше число существует (обратите внимание, что это должно быть предположение в случае, когда интервал бесконечен). Доказательство проводится иначе, как указано выше, но с несколько другим приближением интегралов:

Когда мы делим на

мы получаем за этот срок

чей предел как есть . Остальная часть доказательства (анализ интересующего термина) проводится, как указано выше.

Данное условие в случае бесконечного интервала, как сказано выше, является достаточным, но не необходимым. Однако это условие выполняется во многих, если не в большинстве, приложениях: условие просто говорит, что изучаемый нами интеграл должен быть четко определенным (не бесконечным) и что максимум функции должен быть «истинным» максимумом. (номер должен существовать). Нет необходимости требовать конечности интеграла при, но достаточно требовать конечности интеграла для некоторого

Этот метод основан на 4 основных понятиях, таких как

Концепции
1. Относительная ошибка

«Приближение» в этом методе связано с относительной ошибкой, а не с абсолютной ошибкой . Следовательно, если мы положим

интеграл можно записать как

где - малое число, когда - очевидно большое число, и относительная погрешность будет

Теперь разделим этот интеграл на две части: регион и остальное.

2. вокруг стационарной точки, когда она достаточно велика

Давайте посмотрим на разложение Тейлора в окрестностях х 0 и перевести х к у , потому что мы делаем сравнение в у-пространстве, мы получим

Обратите внимание, потому что это неподвижная точка. Из этого уравнения вы обнаружите, что члены выше второй производной в этом разложении Тейлора подавляются в порядке порядка, так что они будут ближе к функции Гаусса, как показано на рисунке. Помимо,

Цифра с равна 1, 2 и 3, а красная линия - это кривая функции .
3. Чем больше , тем меньший диапазон связан

Поскольку мы делаем сравнение в y-пространстве, фиксируется, в котором будет вызывать ; однако, обратно пропорционально , выбранная область будет меньше при увеличении.

4. Если интеграл в методе Лапласа сходится, вклад области, которая не находится вокруг стационарной точки интегрирования его относительной ошибки, будет стремиться к нулю по мере роста.

Опираясь на 3-ю концепцию, даже если мы выберем очень большое значение D y , sD y в конечном итоге будет очень маленьким числом, когда его увеличат до огромного числа. Тогда как мы можем гарантировать, что интеграл остатка будет стремиться к 0, когда он достаточно велик?

Основная идея состоит в том, чтобы найти функцию , в которой интеграл и интеграл будут стремиться к нулю при росте. Поскольку экспоненциальная функция всегда будет больше нуля, пока это действительное число, а эта экспоненциальная функция пропорциональна интегралу от воли, стремящегося к нулю. Для простоты, выбирают в качестве касательной через точку , как показано на рисунке:

обозначается двумя проходящими через него касательными линиями . Когда становится меньше, область покрытия будет больше.

Если интервал интегрирования этого метода конечен, мы обнаружим, что независимо от того , продолжается ли материя в остальной области, она всегда будет меньше, чем показано выше, когда она достаточно велика. Кстати, позже будет доказано, что интеграл от будет стремиться к нулю, когда будет достаточно большим.

Если интервал интегрирования этого метода бесконечен, и они всегда могут пересекаться друг с другом. Если это так, мы не можем гарантировать, что интеграл будет в конечном итоге стремиться к нулю. Например, в случае всегда будут расходиться. Следовательно, нам нужно потребовать, чтобы оно могло сходиться для случая бесконечного интервала. Если это так, этот интеграл будет стремиться к нулю, когда будет достаточно большим, и мы можем выбрать его как крест и

Вы можете спросить, почему бы не выбрать в качестве сходящегося интеграла? Позвольте мне показать вам причину на примере. Предположим , что оставшаяся часть является то и интеграл расходится; однако, когда интеграл сходится. Итак, интеграл некоторых функций будет расходиться, когда число небольшое, но они сходятся, когда оно достаточно велико.

Основываясь на этих четырех концепциях, мы можем вывести относительную погрешность этого метода Лапласа.

Другие составы

Приближение Лапласа иногда записывают как

где положительно.

Важно отметить, что точность приближения зависит от переменной интегрирования, то есть от того, что остается, а что используется .

Вывод его относительной погрешности

Во-первых, используйте для обозначения глобального максимума, что упростит вывод. Нас интересует относительная погрешность, записанная как ,

куда

Итак, если мы позволим

и мы можем получить

с тех пор .

Что касается верхней границы, обратите внимание, что, таким образом, мы можем разделить это интегрирование на 5 частей с 3 различными типами (a), (b) и (c) соответственно. Следовательно,

где и похожи, давайте просто посчитаем и и тоже похожи, я просто посчитаю .

Ведь после перевода мы можем получить

Это означает, что пока он достаточно большой, он будет стремиться к нулю.

Ибо мы можем получить

куда

и должен иметь такой же знак в этом регионе. В качестве касательной выберем точку при , т.е. которая показана на рисунке

касательные линии через точку в .

Из этого рисунка видно, что, когда или становится меньше, область, удовлетворяющая вышеуказанному неравенству, будет увеличиваться. Поэтому, если мы хотим найти подходящую, чтобы покрыть все в течение интервала , будет верхний предел. Кроме того, поскольку интеграция проста, позвольте мне использовать ее, чтобы оценить относительную ошибку, которую это вносит .

Основываясь на разложении Тейлора, мы можем получить

а также

а затем подставьте их обратно в расчет ; однако вы можете обнаружить, что остатки этих двух расширений обратно пропорциональны квадратному корню из , позвольте мне исключить их, чтобы украсить вычисления. Лучше хранить их, но это сделает формулу уродливее.

Следовательно, при увеличении он будет стремиться к нулю , но не забывайте, что при этом вычислении следует учитывать верхнюю границу .

Что касается интегрирования рядом , мы также можем использовать теорему Тейлора для его вычисления. Когда

и вы можете обнаружить, что он обратно пропорционален квадратному корню из . Фактически, будет вести себя так же, когда является константой.

В конце концов, интеграл около стационарной точки будет становиться меньше по мере увеличения, а остальные части будут стремиться к нулю, пока он достаточно велик; однако мы должны помнить, что у этого есть верхний предел, который определяется тем, всегда ли функция больше, чем в остальной области. Однако до тех пор, пока мы можем найти один, удовлетворяющий этому условию, верхнюю границу можно выбрать как прямо пропорциональную, поскольку является касательной через точку at . Итак, чем больше , тем больше может быть.

В многомерном случае, когда - -мерный вектор и является скалярной функцией от , аппроксимация Лапласа обычно записывается как:

где есть матрица Гессе из оценивали при и где обозначает определитель матрицы . Аналогично одномерному случаю требуется, чтобы гессиан был отрицательно определенным .

Кстати, хотя обозначает мерный вектор, термин обозначает бесконечно малый объем здесь, то есть .

Расширение метода Лапласа: крутой спуск

В расширениях метода Лапласа комплексный анализ и, в частности , интегральная формула Коши , используются для нахождения контура наискорейшего спуска для (асимптотически с большим M ) эквивалентного интеграла, выраженного в виде линейного интеграла . В частности, если на действительной прямой не существует точки x 0, в которой производная от обращается в нуль, может потребоваться деформировать контур интегрирования до оптимального, где вышеупомянутый анализ будет возможен. И снова основная идея состоит в том, чтобы сократить, по крайней мере асимптотически, вычисление данного интеграла до вычисления более простого интеграла, который может быть вычислен явно. См. Книгу Эрдели (1956) для простого обсуждения (где метод называется наискорейшим спуском ).

Подходящая формулировка для комплексной плоскости z :

для пути, проходящего через седловую точку в точке z 0 . Обратите внимание на явное появление знака минус, указывающего направление второй производной: модуль не следует брать. Также обратите внимание, что если подынтегральное выражение является мероморфным , может потребоваться добавить вычеты, соответствующие полюсам, пройденным при деформации контура (см., Например, раздел 3 статьи Окунькова « Симметричные функции и случайные разбиения» ).

Дальнейшие обобщения

Расширением метода наискорейшего спуска является так называемый метод нелинейной стационарной фазы / наискорейшего спуска . Здесь вместо интегралов необходимо асимптотически оценивать решения задач факторизации Римана – Гильберта .

Учитывая контур C в комплексной сфере , функцию, определенную на этом контуре и особую точку, скажем бесконечность, ищется функция M, голоморфная вдали от контура C , с заданным скачком через C и с заданной нормализацией на бесконечности. Если и, следовательно, M - матрицы, а не скаляры, это проблема, которая, как правило, не допускает явного решения.

Тогда возможна асимптотическая оценка в соответствии с методом линейной стационарной фазы / наискорейшего спуска. Идея состоит в том, чтобы асимптотически свести решение данной проблемы Римана – Гильберта к решению более простой, явно решаемой проблемы Римана – Гильберта. Теорема Коши используется для обоснования деформаций контура скачка.

Нелинейная стационарная фаза была введена Дейфтом и Чжоу в 1993 году на основе более ранней работы Its. (Собственно говоря) нелинейный метод наискорейшего спуска был введен Камвиссисом, К. Маклафлином и П. Миллером в 2003 году на основе предыдущей работы Лакса, Левермора, Дейфта, Венакидеса и Чжоу. Как и в линейном случае, «контуры наискорейшего спуска» решают задачу минимума-максимума. В нелинейном случае они оказываются «S-образными кривыми» (определенными в другом контексте еще в 80-х годах Шталем, Гончаром и Рахмановым).

Метод нелинейной стационарной фазы / наискорейшего спуска имеет приложения к теории солитонных уравнений и интегрируемым моделям , случайным матрицам и комбинаторике .

Обобщение метода Лапласа: приближение средней точки

В обобщении вычисление интеграла считается эквивалентным нахождению нормы распределения с плотностью

Обозначая кумулятивное распределение , если существует диффеоморфное гауссово распределение с плотностью

норма дается

и соответствующий диффеоморфизм есть

где обозначает кумулятивную функцию стандартного нормального распределения .

В общем случае любое распределение, диффеоморфное гауссову, имеет плотность

а медианная точка отображается на медиану распределения Гаусса. Сопоставление логарифма функций плотности и их производных в средней точке до заданного порядка дает систему уравнений, которые определяют приблизительные значения и .

Приближение было введено в 2019 году Д. Макогоном и К. Мораисом Смитом в первую очередь в контексте вычисления статистической суммы для системы взаимодействующих фермионов.

Комплексные интегралы

Для комплексных интегралов вида:

с мы делаем замену t = iu и замену переменной, чтобы получить двустороннее преобразование Лапласа:

Затем мы разбиваем g ( c + ix ) на действительную и комплексную части, после чего получаем u = t / i . Это полезно для обратных преобразований Лапласа , формулы Перрона и комплексного интегрирования.

Пример: приближение Стирлинга

Метод Лапласа можно использовать для получения приближения Стирлинга.

для большого целого числа  N .

Из определения гамма-функции имеем

Теперь мы изменим переменные, позволяя таким образом , чтобы разъемные эти значения обратно в , чтобы получить

Этот интеграл имеет вид, необходимый для метода Лапласа с

которая дважды дифференцируема:

Максимум лежит при z 0  = 1, а вторая производная от в этой точке имеет значение −1. Следовательно, получаем

Смотрите также

Примечания

использованная литература

  • Azevedo-Filho, A .; Shachter, R. (1994), "Аппроксимации метода Лапласа для вероятностного вывода в сетях доверия с непрерывными переменными", в Mantaras, R .; Пул, Д. (ред.), Неопределенность в искусственном интеллекте , Сан-Франциско, Калифорния: Морган Кауфманн , CiteSeerX  10.1.1.91.2064.
  • Deift, P .; Чжоу, X. (1993), "Метод наискорейшего спуска для осцилляторных задач Римана – Гильберта. Асимптотика для уравнения MKdV", Ann. математики. , 137 (2), стр. 295–368, arXiv : math / 9201261 , doi : 10.2307 / 2946540 , JSTOR  2946540.
  • Эрдели А. (1956), Асимптотические разложения , Дувр..
  • Туман, A. (2008), "Методы расчета для Валлениус нецентральные гипергеометрическими Распределение", Связь в статистике, моделирования и вычислений , 37 (2), стр 258-273,. DOI : 10,1080 / 03610910701790269.
  • Лаплас, PS (1774), «Mémoires de Mathématique et de Physique, Tome Sixième» [Воспоминания о вероятности причин событий.], Статистическая наука , 1 (3): 366–367, JSTOR  2245476
  • Ван, Сян-Шэн; Вонг, Родерик (2007). «Дискретные аналоги приближения Лапласа». Асимптотика. Анальный . 54 (3–4): 165–180.

Эта статья включает материал из аппроксимации седловой точки на PlanetMath , который находится под лицензией Creative Commons Attribution / Share-Alike License .