Выпуклая функция - Convex function

Выпуклая функция на отрезке.
Функция (черным цветом) является выпуклой тогда и только тогда, когда область над ее графиком (зеленым цветом) является выпуклым множеством .
График двумерной выпуклой функции x 2 + xy + y 2 .

В математике функция с действительным знаком называется выпуклой, если отрезок прямой между любыми двумя точками на графике функции не лежит ниже графика между двумя точками. Эквивалентно функция является выпуклой, если ее надграфик (множество точек на графике функции или над ним) является выпуклым множеством . Дважды дифференцируемая функция одной переменной является выпуклой тогда и только тогда, когда ее вторая производная неотрицательна во всей области определения. Хорошо известные примеры выпуклых функций одной переменной включают квадратичную функцию и экспоненциальную функцию. . Проще говоря, выпуклая функция относится к функции, имеющей форму чашки , а вогнутая функция имеет форму крышки .

Выпуклые функции играют важную роль во многих областях математики. Они особенно важны при исследовании задач оптимизации, где они отличаются рядом удобных свойств. Например, строго выпуклая функция на открытом множестве имеет не более одного минимума. Даже в бесконечномерных пространствах при подходящих дополнительных гипотезах выпуклые функции продолжают удовлетворять этим свойствам, и в результате они являются наиболее хорошо понятыми функционалами в вариационном исчислении . В теории вероятности , функция выпукла применительно к ожидаемой величине из более случайной величины всегда ограничена сверху ожидаемым значением выпуклой функции случайной переменной. Этот результат, известный как неравенство Йенсена , может быть использован для вывода неравенств, таких как неравенство среднего арифметико-геометрического и неравенство Гёльдера .

Определение

Визуализация выпуклой функции и неравенства Дженсена

Позвольте быть выпуклым подмножеством реального векторного пространства и позвольте быть функцией.

Тогда называется выпуклой тогда и только тогда, когда выполняется любое из следующих эквивалентных условий:

  1. Для всех и вся :
    Правая часть представляет собой прямую линию между и на графике как функцию увеличения от до или убывания от до, проходящей по этой линии. Точно так же аргумент функции в левой части представляет собой прямую линию между осью и внутри или по оси графика. Итак, это условие требует, чтобы прямая линия между любой парой точек на кривой была выше или чуть выше. встречает граф.
  2. Для всех и всех таких, что :
    Отличие этого второго условия от первого условия выше состоит в том, что это условие не включает точки пересечения (например, и ) между прямой линией, проходящей через пару точек на кривой (прямая линия представлена правая часть этого условия) и кривой первого условие включают в себя точку пересечения , как это делается или на или или в самом деле, точки пересечения не должны рассматриваться в состоянии выпуклого , используя
    потому что и всегда верны (так что не полезно быть частью условия).

Второй оператор, характеризующий выпуклые функции, которые оцениваются в действительной строке , также является утверждением, используемым для определения выпуклых функций , которые оцениваются в расширенной строке действительных чисел, где такой функции разрешено (но не требуется) принимать в качестве значения. Первый оператор не используется, потому что он позволяет принимать или в качестве значения, и в этом случае, если или, соответственно, тогда будет неопределенным (поскольку умножения и не определены). Сумма также не определена, поэтому выпуклой расширенной функции с действительными значениями обычно разрешается принимать только одно из значений и в качестве значения.

Второе утверждение также может быть изменено, чтобы получить определение строгой выпуклости , где последнее получается заменой строгим неравенством. Явно карта называется строго выпуклой тогда и только тогда, когда для всех вещественных и всех таких, что :

Строго выпуклая функция - это функция, при которой прямая линия между любой парой точек кривой находится над кривой, за исключением точек пересечения между прямой линией и кривой.

Функция называется вогнутой (соответственно строго вогнутой ), если ( умноженная на -1) является выпуклой (соответственно строго выпуклой).

Альтернативное именование

Термин « выпуклый» часто называют выпуклым вниз или вогнутым вверх , а термин « вогнутый» часто называют вогнутым вниз или выпуклым вверх . Если термин «выпуклый» используется без ключевого слова «вверх» или «вниз», то он относится строго к чашеобразному графу . Например, неравенство Йенсена относится к неравенству, включающему выпуклую или выпуклую (вверх) функцию.

Характеристики

Многие свойства выпуклых функций имеют такую ​​же простую формулировку для функций многих переменных, как и для функций одного переменного. См. Ниже свойства для многих переменных, так как некоторые из них не указаны для функций одной переменной.

Функции одной переменной

  • Предположим, что это функция одной действительной переменной, определенной на интервале, и пусть
    (заметим , что это наклон фиолетовой линии в рисунке выше, функция
    R является симметричным в означает , что Р не изменяется за счет обмена и ). выпукло тогда и только тогда , когда это монотонно не убывает в каждом фиксированном (или наоборот). Эта характеризация выпуклости весьма полезна для доказательства следующих результатов.
  • Выпуклая функция одной действительной переменной, заданная на некотором открытом интервале C , непрерывна на допуске левой и правой производных , которые монотонно не убывают . Как следствие, является дифференцируемой на всех , но в большинстве счетного числа точек, множество , на котором не дифференцируема , однако , может все еще быть плотным. Если закрыто, то может не быть непрерывным в конечных точках (пример показан в разделе примеров ).
  • Дифференцируемое функция одной переменной выпукла на интервале тогда и только тогда , когда его производная является монотонно неубывающей на этом интервале. Если функция дифференцируема и выпуклая, то она также непрерывно дифференцируема .
  • Дифференцируемая функция одной переменной выпукла на интервале тогда и только тогда , когда ее график лежит выше всех своих касательных :
    для всех x и y в интервале.
  • Дважды дифференцируемая функция одной переменной является выпуклой на интервале тогда и только тогда, когда ее вторая производная неотрицательна там; это дает практический тест на выпуклость. Визуально дважды дифференцируемая выпуклая функция «изгибается вверх», без каких-либо изгибов в другую сторону ( точек перегиба ). Если ее вторая производная положительна во всех точках, то функция строго выпуклая, но обратное неверно . Например, вторая производная от is , которая равна нулю для, но является строго выпуклой.
    • Это свойство и указанное выше свойство в терминах «... его производная монотонно не убывает ...» не равны, поскольку если неотрицательна на интервале, то монотонно не убывает на интервале, в то время как обратное неверно, например, является монотонно неубывающим на, в то время как его производная не определена в некоторых точках на .
  • Если выпуклая функция одной действительной переменной и , то есть сверхаддитивна на положительных чисел , то есть для положительных действительных чисел и .
Доказательство

Поскольку является выпуклым, используя одно из определений выпуклой функции, приведенное выше, и позволяя из этого следует, что для всех действительных

Из этого следует, что
  • Функция является выпуклой в средней точке на интервале, если для всех
    Это условие лишь немного слабее выпуклости. Например, вещественнозначная измеримая по Лебегу функция , выпуклая по середине, является выпуклой: это теорема Серпинского . В частности, непрерывная функция, выпуклая в середине, будет выпуклой.

Функции нескольких переменных

  • Функция со значениями в расширенных действительных числах является выпуклой тогда и только тогда, когда ее надграфик
    - выпуклое множество.
  • Дифференцируемая функция, определенная в выпуклой области, является выпуклой тогда и только тогда, когда выполняется для всех в области.
  • Дважды дифференцируемая функция нескольких переменных , выпукла на множество выпуклого тогда и только тогда , когда его матрица Гессе вторых частных производных является неотрицательно на внутренней части выпуклого множества.
  • Для выпуклой функции на множествах подуровней и с выпуклыми множества. Функция, которая удовлетворяет этому свойству, называется квазивыпуклой функцией и может не быть выпуклой функцией.
  • Следовательно, множество глобальных минимизаторов выпуклой функции является выпуклым множеством: - выпуклым.
  • Любой локальный минимум выпуклой функции также является глобальным минимумом . Строго выпуклая функция будет иметь максимум один глобальный минимум.
  • Неравенство Дженсена применимо к любой выпуклой функции . Если - случайная величина, принимающая значения в области, то где E обозначает математическое ожидание . Действительно, выпуклые функции - это в точности те, которые удовлетворяют гипотезе неравенства Йенсена .
  • Однородная функция первого порядка двух положительных переменных и (то есть функция, удовлетворяющая для всех положительных вещественных чисел ), которая является выпуклой по одной переменной, должна быть выпуклой по другой переменной.

Операции, сохраняющие выпуклость

  • является вогнутым тогда и только тогда, когда оно выпукло.
  • Неотрицательные взвешенные суммы:
    • если и все выпуклые, то так и есть . В частности, сумма двух выпуклых функций выпукла.
    • это свойство распространяется также на бесконечные суммы, интегралы и ожидаемые значения (при условии, что они существуют).
  • Поэлементный максимум: пусть будет набор выпуклых функций. Тогда выпуклый. Область определения - это совокупность точек, в которых выражение конечно. Важные особые случаи:
    • Если выпуклые функции, то так же
    • Теорема Данскина : если выпукло в, то выпукло в, даже если C не является выпуклым множеством.
  • Состав:
    • Если f и g - выпуклые функции, а g не убывает в одномерной области, то является выпуклым. Например, если выпуклый, значит, он есть . потому что выпуклая и монотонно возрастающая.
    • Если f вогнутая, а g выпуклая и не возрастающая в одномерной области, то выпуклая.
    • Выпуклость инвариантна относительно аффинных отображений: то есть, если f выпукло с областью , то так же и где с областью .
  • Минимизация: если выпукло по, то выпукло по x , при условии, что C - выпуклое множество и что
  • Если выпуклый, то его перспектива с областью выпуклая.

Сильно выпуклые функции

Понятие сильной выпуклости расширяет и параметризует понятие строгой выпуклости. Сильно выпуклая функция тоже строго выпуклая, но не наоборот.

Дифференцируемая функция называется сильно выпуклой с параметром m > 0, если для всех точек x , y в ее области определения выполняется неравенство :

или, в более общем смысле,
где любая норма . Некоторые авторы, например, называют функции, удовлетворяющие этому неравенству, эллиптическими функциями.

Эквивалентным условием является следующее:

Чтобы функция была сильно выпуклой, необязательно, чтобы она была дифференцируемой. Третье определение сильно выпуклой функции с параметром m состоит в том, что для всех x , y в области и

Обратите внимание, что это определение приближается к определению строгой выпуклости при m → 0 и идентично определению выпуклой функции при m = 0. Несмотря на это, существуют функции, которые являются строго выпуклыми, но не являются сильно выпуклыми для любого m > 0 ( см. пример ниже).

Если функция дважды непрерывно дифференцируема, то она сильно выпуклая с параметром

т , если и только если для всех х в области, где я тождественный и являюсь матрицей Гесса , и неравенство означает , что является положительным полуопределенным . Это эквивалентно требованию, чтобы минимальное собственное значение из быть по крайней мере м для всех х . Если домен - это просто реальная линия, тогда это просто вторая производная, поэтому условие становится . Если m = 0, то это означает, что гессиан является положительно полуопределенным (или, если область является действительной линией, это означает, что ), что означает, что функция является выпуклой и, возможно, строго выпуклой, но не сильно выпуклой.

Предполагая по-прежнему, что функция дважды непрерывно дифференцируема, можно показать, что из нижней оценки следует, что она является сильно выпуклой. Используя

теорему Тейлора, существует
такой, что
потом
исходя из предположения о собственных значениях, и, следовательно, мы восстанавливаем второе уравнение сильной выпуклости, приведенное выше.

Функция является сильно выпуклой с параметром

m тогда и только тогда, когда функция
выпуклый.

На первый взгляд различие между выпуклым, строго выпуклым и сильно выпуклым может быть незаметным. Если дважды непрерывно дифференцируема, а область определения - действительная линия, то мы можем охарактеризовать ее следующим образом:

  • выпуклый тогда и только тогда, когда для всех
x .
  • строго выпуклый, если для всех
  • x (примечание: этого достаточно, но не обязательно).
  • сильно выпуклый тогда и только тогда, когда для всех
  • x .

    Например, пусть будет строго выпуклым, и предположим, что существует последовательность точек, такая что . Несмотря на то , что функция не является сильно выпуклой, потому что она станет сколь угодно малой.

    Дважды непрерывно дифференцируемая функция на компактной области , удовлетворяющая для всех, является сильно выпуклой. Доказательство этого утверждения следует из

    теоремы об экстремальном значении , которая утверждает, что непрерывная функция на компакте имеет максимум и минимум.

    Сильно выпуклые функции, как правило, легче работать, чем выпуклые или строго выпуклые функции, поскольку они представляют собой меньший класс. Как и строго выпуклые функции, сильно выпуклые функции имеют единственные минимумы на компактах.

    Равномерно выпуклые функции

    Равномерно выпуклая функция с модулем - это функция, которая для всех

    x , y в области и t ∈ [0, 1] удовлетворяет
    где - функция, которая неотрицательна и обращается в нуль только в 0. Это обобщение концепции сильно выпуклой функции; взяв, мы восстанавливаем определение сильной выпуклости.

    Примеры

    Функции одной переменной

    • Функция имеет , поэтому
    f - выпуклая функция. Он также сильно выпуклый (а значит, и строго выпуклый) с константой сильной выпуклости 2.
  • Функция имеет , поэтому
  • f - выпуклая функция. Он строго выпуклый, хотя вторая производная не во всех точках строго положительна. Он не сильно выпуклый.
  • Абсолютное значение функция является выпуклой (как это отражено в
  • неравенстве треугольника ), даже если она не имеет производной в точке  х  = 0. Это не является строго выпуклой.
  • Функция для выпуклая.
  • Экспоненциальная функция выпукла. Он также строго выпуклый, поскольку , но не сильно выпуклый, поскольку вторая производная может быть сколь угодно близкой к нулю. В более общем смысле функция является
  • логарифмически выпуклой, если f - выпуклая функция. Вместо этого иногда используется термин «сверхвыпуклый».
  • Функция с областью определения [0,1], определяемая с помощью for, является выпуклой; он непрерывен на открытом интервале (0, 1), но не непрерывен в 0 и 1.
  • Функция x 3 имеет вторую производную 6 x ; таким образом, он выпуклый на множестве, где x ≥ 0, и вогнутый на множестве, где  x  ≤ 0.
  • Примеры функций, которые монотонно возрастают, но не выпуклые, включают и .
  • Примеры выпуклых, но не монотонно возрастающих функций, включают и .
  • Функция имеет which больше 0, если
  • x > 0, поэтому является выпуклой на интервале . На отрезке он вогнутый .
  • Функция с , является выпуклой на интервале и выпуклой на интервале , но не выпуклой на интервале из-за особенности при 
  • x  = 0.

    Функции n переменных

    • Функция
    LogSumExp , также называемая функцией softmax, является выпуклой функцией.
  • Функция в области
  • положительно определенных матриц выпуклая.
  • Любое действительное линейное преобразование выпукло, но не строго выпукло, так как если f линейно, то . Это утверждение также верно, если мы заменим «выпуклый» на «вогнутый».
  • Каждая вещественнозначная аффинная функция , т. Е. Каждая функция формы , одновременно является выпуклой и вогнутой.
  • Каждая норма является выпуклой функцией в силу неравенства треугольника и положительной однородности .
  • Спектральный радиус из неотрицательного матрицы является выпуклой функцией ее диагональных элементов.
  • Смотрите также

    Примечания

    использованная литература

    • Бертсекас, Дмитрий (2003). Выпуклый анализ и оптимизация . Афина Сайентифик.
    • Борвейн, Джонатан , и Льюис, Адриан. (2000). Выпуклый анализ и нелинейная оптимизация. Springer.
    • Донохью, Уильям Ф. (1969). Распределения и преобразования Фурье . Академическая пресса.
    • Хириар-Уррути, Жан-Батист, и Лемарешаль, Клод . (2004). Основы выпуклого анализа. Берлин: Springer.
    • Красносельский М.А. , Рутицкий Я.Б. (1961). Выпуклые функции и пространства Орлича . Гронинген: P.Noordhoff Ltd.
    • Лауритцен, Нильс (2013). Студенческая выпуклость . Мировое научное издательство.
    • Люенбергер, Дэвид (1984). Линейное и нелинейное программирование . Эддисон-Уэсли.
    • Люенбергер, Дэвид (1969). Оптимизация методами векторного пространства . Wiley & Sons.
    • Рокафеллар, RT (1970). Выпуклый анализ . Принстон: Издательство Принстонского университета.
    • Томсон, Брайан (1994). Симметричные свойства вещественных функций . CRC Press.
    • Зэлинеску, К. (2002). Выпуклый анализ в общих векторных пространствах . Ривер Эдж, Нью-Джерси: World Scientific Publishing Co., Inc., стр. Xx + 367. ISBN 981-238-067-1. Руководство по ремонту  1921556 .

    внешние ссылки