Богатый язык представления - Rich Representation Language
Язык расширенного представления , часто сокращенно RRL , представляет собой язык компьютерной анимации, специально разработанный для облегчения взаимодействия двух или более анимированных персонажей. Исследования финансировались Европейской комиссией в рамках проекта NECA . Структура NECA (Net Environment for Embodied Emotional Conversational Agents), в рамках которой был разработан RRL, была ориентирована не на анимацию фильмов, а на создание интеллектуальных «виртуальных персонажей», которые взаимодействуют в виртуальном мире и поддерживают разговоры с эмоциональным содержанием, в сочетании с подходящие выражения лица .
RRL был новаторским исследовательским усилием, которое повлияло на дизайн других языков, таких как язык разметки игрока, который расширил некоторые части дизайна RRL. Дизайн языка специально предназначен для уменьшения обучения, необходимого для моделирования взаимодействия нескольких персонажей в виртуальном мире, и для автоматической генерации большей части лицевой анимации, а также скелетной анимации на основе содержания разговоров. Из-за взаимозависимости невербальных коммуникативных компонентов, таких как черты лица, от произнесенных слов, анимация на языке невозможна без учета контекста сцены, в которой происходит анимация - например, гнев против радости.
Проблемы языкового дизайна
Область применения RRL состоит из сцен с двумя или более виртуальными персонажами. Для представления этих сцен требуется несколько типов информации, таких как позы тела , выражения лица , семантическое содержание и значение разговоров и т. Д. Проблема дизайна заключается в том, что часто информация одного типа зависит от другого типа информации, например, от положения тела, Выражение лица и смысловое содержание разговора необходимо согласовывать. Примером может служить то, что в гневном разговоре семантика разговора диктует положение тела и выражения лица, отличные от которых сильно отличаются от радостного разговора. Следовательно, любые команды в языке для управления выражением лица должны по своей сути зависеть от контекста разговора.
Различные типы информации, используемые в RRL, требуют различных форм выражения в пределах языка, например, в то время как семантическая информация представлена грамматиками , компонент выражения лица требует примитивов графических манипуляций.
Ключевой целью при разработке RRL была простота разработки, чтобы сделать сцены и интерактивную конструкцию доступными для пользователей без глубоких знаний программирования. Более того, дизайн был направлен на возможность постепенного развития в естественной форме, чтобы сцены могли быть частично прототипированы, а затем улучшены для получения более естественных визуализаций, например, посредством более позднего добавления мигания или дыхания.
Описание сцены
Используя театральную терминологию, каждый сеанс взаимодействия между синтетическими персонажами в RRL называется сценой . Описание сцены определяет содержание, время и эмоциональные характеристики, используемые в сцене. Специальный модуль, называемый аффективным рассуждающим, вычисляет эмоциональные примитивы, задействованные в сцене, включая тип и интенсивность эмоций, а также их причины. Аффективный рассуждающий использует такие параметры эмоций , как интенсивность и напористость.
Хотя XML используется в качестве базового формата представления, сцены описываются на более высоком уровне в объектно-ориентированной структуре. В этой структуре узлы (т.е. объекты) соединяются стрелками или ссылками. Например, сцена - это узел верхнего уровня, связанный с другими. Сцена может иметь три определенных атрибута: агенты / люди, которые участвуют в сцене, представление дискурса, которое обеспечивает основу для разговоров, и историю, которая записывает временные отношения между различными действиями.
Описания сцен передаются в модуль генерации естественного языка, который производит подходящие предложения. Создание естественного течения в разговоре требует высокой степени репрезентативной силы эмоциональных элементов. RRL использует систему репрезентации дискурса, основанную на стандартном методе референций и условий . Аффективный рассуждающий предоставляет подходящую информацию для выбора слов и структур, соответствующих конкретным предложениям.
Синтез речи и эмоциональные маркеры
Компонент синтеза речи сильно зависит от семантической информации и поведения модуля назначения жестов. Компонент синтеза речи должен работать до системы назначения жестов, поскольку он включает информацию о времени для произнесенных слов и эмоциональных междометий . После интерпретации произносимого текста на естественном языке этот компонент добавляет просодическую структуру, такую как ритм, ударение и интонации.
Элементы речи, обогащенные ударением, интонацией и эмоциональными маркерами, передаются в систему определения жестов. RRL поддерживает три отдельных аспекта управления эмоциями. Во-первых, для сцен и конкретных предложений могут быть предусмотрены специальные теги эмоций. Ряд специальных команд поддерживает отображение широкого спектра эмоций на лицах анимированных персонажей.
Во-вторых, есть встроенные механизмы для согласования определенных черт лица с эмоциональными позами тела. В-третьих, определенные эмоциональные междометия, такие как вздохи, зевки, хихиканья и т. Д., Могут чередоваться в действиях для повышения правдоподобности высказываний персонажа.
Назначение жестов и движения тела
В РРЛ термин жест используется в общем смысле и применяется к мимике, позе тела и правильным жестам. При назначении жестов обрабатываются три уровня информации:
- Назначение определенных жестов в сцене конкретным модулям, например, « очередность » обрабатывается в модуле генерации естественного языка.
- Уточнение и разработка жестов после синтеза речи первого уровня, например, добавление к разговору моргания и дыхания.
- Интерфейс для внешних модулей, которые обрабатывают визуализацию для конкретного игрока, такую как параметры анимации лица MPEG-4 (FAP).
Система присвоения жестов имеет определенные типы жестов, такие как движения тела (например, пожимание плечами как безразличие против опущенных плеч грусти), символические движения (жесты, которые условно сигнализируют да / нет), иконические (например, имитация телефона с помощью пальцев), дейктические (показывающие жесты), контраст (например, с одной стороны, но с другой стороны), черты лица (например, приподнятые брови, хмурый взгляд, удивление или пристальный взгляд).