Захвата движения - Motion capture
Захват движения (иногда называемый для краткости mo-cap или mocap ) — это процесс записи движения объектов или людей. Он используется в военных , развлекательных , спортивных , медицинских приложениях, а также для проверки компьютерного зрения и роботов. В кинопроизводстве и разработке видеоигр это относится к записи действий актеров и использованию этой информации для анимации цифровых моделей персонажей в 2-D или 3-D компьютерной анимации . Когда он включает в себя лицо и пальцы или улавливает тонкие выражения, его часто называютзахват производительности . Во многих областях захват движения иногда называют отслеживанием движения , но в кинопроизводстве и играх отслеживание движения обычно больше относится к соответствию движения .
В сеансах захвата движения движения одного или нескольких актеров записываются много раз в секунду. В то время как ранние методы использовали изображения с нескольких камер для расчета 3D-позиций , часто целью захвата движения является запись только движений актера, а не его внешнего вида. Эти данные анимации сопоставляются с 3D-моделью, поэтому модель выполняет те же действия, что и актер. Этот процесс можно противопоставить старой технике ротоскопирования .
Движения камеры также могут быть захвачены, так что виртуальная камера в сцене будет поворачиваться, наклоняться или перемещаться по сцене, управляемой оператором камеры, пока актер выступает. В то же время система захвата движения может захватывать камеру и реквизит, а также игру актера. Это позволяет компьютерным персонажам, изображениям и наборам иметь ту же перспективу, что и видеоизображения с камеры. Компьютер обрабатывает данные и отображает движения актера, обеспечивая нужные положения камеры относительно объектов в наборе. Получение данных о движении камеры задним числом из отснятого материала называется совмещением движения или отслеживанием камеры .
Преимущества
Захват движения предлагает несколько преимуществ по сравнению с традиционной компьютерной анимацией 3D-модели:
- Низкая задержка, близкие к реальному времени, результаты могут быть получены. В развлекательных приложениях это может снизить затраты на анимацию на основе ключевых кадров . Техника Hand Over является примером этого.
- Объем работы не зависит от сложности или продолжительности выступления в той же степени, как при использовании традиционных техник. Это позволяет проводить множество тестов с разными стилями или постановками, придавая разную индивидуальность, ограниченную только талантом актера.
- Сложные движения и реалистичные физические взаимодействия, такие как вторичные движения, вес и обмен силами, могут быть легко воссозданы физически точно.
- Объем анимационных данных, которые могут быть созданы за заданное время, чрезвычайно велик по сравнению с традиционными методами анимации. Это способствует как эффективности затрат, так и соблюдению сроков производства.
- Потенциал для бесплатного программного обеспечения и сторонних решений, снижающих его стоимость.
Недостатки
- Для получения и обработки данных требуется специальное оборудование и специальные программы.
- Стоимость программного обеспечения, оборудования и необходимого персонала может быть непомерно высокой для небольших производств.
- Система захвата может предъявлять особые требования к пространству, в котором она работает, в зависимости от поля зрения камеры или магнитных искажений.
- При возникновении проблем проще снова снять сцену, чем пытаться манипулировать данными. Только несколько систем позволяют просматривать данные в режиме реального времени, чтобы решить, нужно ли переделывать дубль.
- Первоначальные результаты ограничены тем, что может быть выполнено в объеме захвата без дополнительного редактирования данных.
- Движение, которое не подчиняется законам физики, невозможно зафиксировать.
- Традиционные методы анимации, такие как дополнительный акцент на предвосхищении и выполнении, вторичном движении или управлении формой персонажа, как в методах анимации сжатия и растяжения , должны быть добавлены позже.
- Если компьютерная модель имеет отличные от объекта съемки пропорции, могут возникать артефакты. Например, если у мультипликационного персонажа большие, негабаритные руки, они могут пересекать тело персонажа, если человек-исполнитель не будет осторожен с их физическими движениями.
Приложения
Видеоигры часто используют захват движения для анимации спортсменов, мастеров боевых искусств и других игровых персонажей. Еще в 1988 году ранняя форма захвата движения использовалась для анимации 2D - персонажей видеоигры Martech Vixen (в исполнении модели Коринн Рассел ) и 2D-аркадного файтинга Last Apostle Puppet Show от Magical Company (для анимации оцифрованных изображений ). спрайты ). Захват движения позже использовался для анимации 3D - моделей персонажей в аркадных играх Sega Model Virtua Fighter (1993) и Virtua Fighter 2 (1994). В середине 1995 года у разработчика и издателя Acclaim Entertainment была собственная студия захвата движения, встроенная в штаб-квартиру. В аркадной игре Soul Edge от Namco 1995 года для захвата движения использовались маркеры пассивной оптической системы.
В фильмах используется захват движения для эффектов компьютерной графики, в некоторых случаях заменяющий традиционную целевую анимацию, и для полностью созданных компьютером существ, таких как Голлум , Мумия , Кинг-Конг , Дэви Джонс из «Пиратов Карибского моря », На'ви из фильма « Аватар ». и Клу из «Трон: Наследие» . Великий гоблин, три Каменных тролля , многие орки и гоблины в фильме 2012 года «Хоббит: Нежданное путешествие » и Смауг были созданы с помощью захвата движения.
В фильме « Бэтмен навсегда» (1995) для некоторых спецэффектов использовался захват движения. Warner Bros приобрела технологию захвата движения у компании по производству игровых автоматов Acclaim Entertainment для использования в производстве фильма. В одноименной видеоигре Acclaim 1995 года также использовалась та же технология захвата движения для анимации оцифрованной графики спрайтов .
«Звездные войны: Эпизод I — Скрытая угроза» (1999) был первым полнометражным фильмом, в котором главный герой был создан с использованием захвата движения (этот персонаж — Джар-Джа Бинкс , которого играет Ахмед Бест ), и индийско - американский фильм « Синдбад: За гранью». «Завеса туманов» (2000) была первым полнометражным фильмом, созданным в основном с использованием захвата движения, хотя над фильмом, который был выпущен очень ограниченным тиражом, также работали многие аниматоры персонажей. Final Fantasy: The Spirits Within 2001 годастал первым широко выпущенным фильмом, созданным в основном с использованием технологии захвата движения. Несмотря на низкие кассовые сборы, сторонники технологии захвата движения обратили на это внимание. Total Recall уже использовал эту технику в сцене с рентгеновским сканером и скелетами.
«Властелин колец: Две башни » был первым художественным фильмом, в котором использовалась система захвата движения в реальном времени. Этот метод транслировал действия актера Энди Серкиса в сгенерированный компьютером скин Голлума / Смеагола во время его исполнения.
Из трех номинантов на премию « Оскар» за лучший анимационный фильм 2006 года двое номинантов ( «Дом монстров» и победитель « Счастливые ноги » ) использовали захват движения, и только « Тачки » Disney · Pixar были анимированы без захвата движения. В финальных титрах фильма Pixar « Рататуй » появляется штамп, помечающий фильм как «100% чистая анимация — без захвата движения!»
С 2001 года захват движения широко используется для имитации или приближения к внешнему виду живого кино с почти фотореалистичными цифровыми моделями персонажей. В Polar Express использовался захват движения, чтобы Том Хэнкс мог выступать в роли нескольких отдельных цифровых персонажей (в которых он также озвучивал голоса). Адаптация 2007 года анимационных цифровых персонажей саги « Беовульф » , внешний вид которых был частично основан на актерах, которые создавали свои движения и голоса. Очень популярный « Аватар » Джеймса Кэмерона использовал эту технику для создания На’ви, населяющих Пандору. Компания Уолта Диснея выпустила « Рождественскую историю» Роберта Земекиса , используя эту технику. В 2007 году Disney приобрела компанию ImageMovers Digital Земекиса (которая производит фильмы с захватом движения), но затем закрыла ее в 2011 году после провала кассовых сборов фильма « Марсу нужны мамы » .
Телевизионные сериалы, полностью созданные с использованием анимации захвата движения, включают Laflaque в Канаде, Sprookjesboom и Cafe de Wereld в Нидерландах и Headcases в Великобритании.
Поставщики виртуальной и дополненной реальности , такие как uSens и Gestigon , позволяют пользователям взаимодействовать с цифровым контентом в режиме реального времени, фиксируя движения рук. Это может быть полезно для тренировочных симуляций, тестов визуального восприятия или выполнения виртуальных обходов в 3D-среде. Технология захвата движения часто используется в цифровых кукольных системах для управления компьютерными персонажами в режиме реального времени.
Анализ походки — одно из применений захвата движения в клинической медицине . Методы позволяют клиницистам оценивать движения человека по нескольким биомеханическим факторам, часто во время потоковой передачи этой информации в аналитическое программное обеспечение.
Некоторые клиники физиотерапии используют захват движения как объективный способ количественной оценки прогресса пациента.
Во время съемок « Аватара » Джеймса Кэмерона все сцены, связанные с этим процессом, режиссировались в режиме реального времени с использованием программного обеспечения Autodesk MotionBuilder для визуализации изображения на экране, что позволяло режиссеру и актеру увидеть, как они будут выглядеть в фильме, что облегчало режиссуру. фильм таким, каким его увидит зритель. Этот метод допускал виды и углы, невозможные для предварительно обработанной анимации. Кэмерон был так горд своими результатами, что пригласил Стивена Спилберга и Джорджа Лукаса на съемочную площадку, чтобы посмотреть систему в действии.
В «Мстителях » Марк Руффало использовал захват движения, чтобы он мог сыграть своего персонажа Халка , а не только компьютерную графику, как в предыдущих фильмах, что сделало Руффало первым актером, сыгравшим как человеческую, так и Халковую версии Брюса Бэннера.
Программное обеспечение FaceRig использует технологию распознавания лиц от ULsee.Inc для сопоставления выражений лица игрока и технологию отслеживания тела от Perception Neuron для сопоставления движения тела с движением 3D- или 2D-персонажа на экране.
Во время конференции разработчиков игр 2016 года в Сан-Франциско Epic Games продемонстрировала захват движения всего тела вживую в Unreal Engine. Вся сцена из грядущей игры Hellblade о женщине-воине по имени Сенуа была визуализирована в реальном времени. Лейтмотивом стало сотрудничество между Unreal Engine , Ninja Theory , 3Lateral , Cubic Motion , IKinema и Xsens .
Индийский фильм « Адипуруш» по мотивам «Рамаяны». Фильм считается выдающимся произведением искусства, в котором используются передовые технологии реального времени, такие как захват движения Xsens и захват лица, используемые Голливудом, чтобы оживить мир Адипуруша. Адипуруш — это история о Господе Раме.
Методы и системы
Отслеживание движения или захват движения началось как инструмент фотограмметрического анализа в исследованиях биомеханики в 1970-х и 1980-х годах и расширилось до образования, обучения, спорта и недавно компьютерной анимации для телевидения , кино и видеоигр по мере развития технологии. С 20-го века исполнитель должен носить маркеры возле каждого сустава, чтобы определять движение по положению или углам между маркерами. Акустические, инерционные, светодиодные , магнитные или отражающие маркеры или комбинации любых из них отслеживаются оптимально, по крайней мере, в два раза чаще, чем частота желаемого движения. Разрешение системы важно как для пространственного, так и для временного разрешения, поскольку размытие в движении вызывает почти те же проблемы, что и низкое разрешение. С началом 21 века и в связи с быстрым развитием технологий были разработаны новые методы. Большинство современных систем могут извлекать силуэт исполнителя из фона. После этого все углы суставов рассчитываются путем подгонки математической модели к силуэту. Для движений, когда вы не видите изменения силуэта, доступны гибридные системы, которые могут делать и то, и другое (маркер и силуэт), но с меньшим количеством маркеров. В робототехнике некоторые системы захвата движения основаны на одновременной локализации и отображении .
Оптические системы
Оптические системы используют данные, полученные с датчиков изображения, для триангуляции трехмерного положения объекта между двумя или более камерами, откалиброванными для обеспечения перекрывающихся проекций. Сбор данных традиционно осуществляется с помощью специальных маркеров, прикрепленных к актору; однако более современные системы могут генерировать точные данные, отслеживая особенности поверхности, динамически идентифицируемые для каждого конкретного объекта. Отслеживание большого количества исполнителей или расширение области захвата достигается за счет добавления большего количества камер. Эти системы производят данные с тремя степенями свободы для каждого маркера, а информация о вращении должна быть получена из относительной ориентации трех или более маркеров; например, маркеры плеча, локтя и запястья, указывающие угол локтя. Новые гибридные системы объединяют инерционные датчики с оптическими датчиками, чтобы уменьшить окклюзию, увеличить количество пользователей и улучшить возможность отслеживания без необходимости ручной очистки данных.
Пассивные маркеры
В пассивных оптических системах используются маркеры, покрытые световозвращающим материалом для отражения света, генерируемого вблизи объектива камеры. Порог камеры можно отрегулировать таким образом, что будут отобраны только яркие отражающие маркеры, игнорируя кожу и ткань.
Центр тяжести маркера оценивается как позиция в захваченном двухмерном изображении. Значение оттенков серого каждого пикселя можно использовать для обеспечения субпиксельной точности путем нахождения центроида гауссовой .
Объект с маркерами, прикрепленными к известным позициям, используется для калибровки камер и определения их положения, а также измеряется искажение объектива каждой камеры. Если две откалиброванные камеры видят маркер, можно получить трехмерную фиксацию. Обычно система состоит из 2–48 камер. Существуют системы из более чем трехсот камер, чтобы попытаться сократить количество подмен маркеров. Для полного охвата объекта съемки и нескольких объектов требуются дополнительные камеры.
У поставщиков есть программное обеспечение для ограничения, чтобы уменьшить проблему замены маркеров, поскольку все пассивные маркеры кажутся идентичными. В отличие от активных маркерных систем и магнитных систем, пассивные системы не требуют от пользователя ношения проводов или электронного оборудования. Вместо этого сотни резиновых шариков прикреплены светоотражающей лентой, которую необходимо периодически заменять. Маркеры обычно прикрепляются непосредственно к коже (как в биомеханике) или прикрепляются к исполнителю, одетому в костюм из спандекса и лайкры , разработанный специально для захвата движения . Этот тип системы может захватывать большое количество маркеров с частотой кадров обычно от 120 до 160 кадров в секунду, хотя при снижении разрешения и отслеживании меньшей интересующей области они могут отслеживать до 10 000 кадров в секунду.
Активный маркер
Активные оптические системы триангулируют положения, очень быстро освещая один светодиод или несколько светодиодов с программным обеспечением для их идентификации по их относительному положению, что в некоторой степени похоже на астрономическую навигацию. Вместо отражения света, генерируемого извне, маркеры сами излучают свой собственный свет. Поскольку закон обратных квадратов обеспечивает одну четверть мощности на удвоенном расстоянии, это может увеличить расстояния и объем для захвата. Это также обеспечивает высокое отношение сигнал/шум, что приводит к очень низкому джиттеру маркера и, как следствие, к высокому разрешению измерений (часто до 0,1 мм в калиброванном объеме).
В сериале « Звездные врата SG1 » в эпизодах использовалась активная оптическая система для визуальных эффектов, позволяющая актеру ходить вокруг реквизита, что затруднило бы захват движения для других неактивных оптических систем.
ILM использовала активные маркеры в « Ван Хельсинге », чтобы позволить захватывать летающих невест Дракулы на очень больших площадках, подобно тому, как Weta использовала активные маркеры в «Восстании планеты обезьян» . Питание каждого маркера может подаваться последовательно в фазе с системой захвата, обеспечивающей уникальную идентификацию каждого маркера для данного кадра захвата за счет результирующей частоты кадров. Возможность идентифицировать каждый маркер таким образом полезна в приложениях реального времени. Альтернативный метод идентификации маркеров состоит в том, чтобы делать это алгоритмически, требуя дополнительной обработки данных.
Есть также возможность найти позицию с помощью цветных светодиодных маркеров. В этих системах каждому цвету соответствует определенная точка тела.
Одной из первых систем активных маркеров в 1980-х годах была гибридная пассивно-активная мокап-система с вращающимися зеркалами и отражающими маркерами из цветного стекла, в которой использовались маскированные линейные матричные детекторы.
Активный маркер с временной модуляцией
Системы активных маркеров можно дополнительно усовершенствовать, включив по одному маркеру за раз или отслеживая несколько маркеров во времени и модулируя амплитуду или ширину импульса для получения идентификатора маркера. Модулированные системы с пространственным разрешением 12 мегапикселей демонстрируют более тонкие движения, чем оптические системы с разрешением 4 мегапикселя, поскольку имеют более высокое пространственное и временное разрешение. Режиссеры могут наблюдать за игрой актеров в режиме реального времени и наблюдать за результатами компьютерной графики, созданной с помощью захвата движения. Уникальные идентификаторы маркеров сокращают оборот, исключая замену маркеров и предоставляя гораздо более точные данные, чем другие технологии. Светодиоды с бортовой обработкой и радиосинхронизацией позволяют захватывать движение на улице под прямыми солнечными лучами, при этом захватывая от 120 до 960 кадров в секунду благодаря высокоскоростному электронному затвору. Компьютерная обработка смодулированных идентификаторов позволяет реже выполнять ручную очистку или фильтровать результаты, что снижает эксплуатационные расходы. Эта более высокая точность и разрешение требуют большей обработки, чем пассивные технологии, но дополнительная обработка выполняется в камере для улучшения разрешения за счет субпиксельной или центроидной обработки, обеспечивая как высокое разрешение, так и высокую скорость. Эти системы захвата движения обычно стоят 20 000 долларов за систему с восемью камерами, 12-мегапиксельным пространственным разрешением и частотой 120 Гц с одним актером.
Полупассивный незаметный маркер
Можно изменить традиционный подход, основанный на высокоскоростных камерах. В таких системах, как Prakash , используются недорогие высокоскоростные проекторы с несколькими светодиодами. Специально созданные ИК-проекторы с несколькими светодиодами оптически кодируют пространство. Вместо светоотражающих или активных светоизлучающих диодов (LED) в системе используются светочувствительные маркерные метки для декодирования оптических сигналов. Прикрепляя метки с фотодатчиками к точкам сцены, метки могут вычислять не только собственное местоположение каждой точки, но и собственную ориентацию, падающее освещение и коэффициент отражения.
Эти метки слежения работают в условиях естественного освещения и могут незаметно встраиваться в одежду или другие предметы. Система поддерживает неограниченное количество тегов в сцене, при этом каждый тег однозначно идентифицируется, чтобы исключить проблемы с повторным захватом маркера. Поскольку система исключает высокоскоростную камеру и соответствующий высокоскоростной поток изображений, ей требуется значительно меньшая полоса пропускания данных. Теги также предоставляют данные о падающем освещении, которые можно использовать для согласования освещения сцены при вставке синтетических элементов. Этот метод кажется идеальным для захвата движения на съемочной площадке или трансляции виртуальных съемочных площадок в реальном времени, но еще не проверен.
Система захвата движения под водой
Технология захвата движения была доступна исследователям и ученым уже несколько десятилетий, что дало новый взгляд на многие области.
Подводные камеры
Жизненно важная часть системы, подводная камера, имеет водонепроницаемый корпус. Корпус имеет покрытие, устойчивое к коррозии и хлору, что делает его идеальным для использования в бассейнах и бассейнах. Есть два типа камер. Промышленные высокоскоростные камеры также могут использоваться в качестве инфракрасных камер. Инфракрасные подводные камеры поставляются со стробоскопом голубого света вместо типичного ИК-подсветки — для минимального затухания под водой, а конус высокоскоростных камер — со светодиодной подсветкой или с возможностью использования обработки изображения.
Объем измерения
Подводная камера обычно может измерять 15–20 метров в зависимости от качества воды, камеры и типа используемого маркера. Неудивительно, что наилучшая дальность достигается при прозрачной воде, и, как всегда, объем измерений также зависит от количества камер. Доступен ряд подводных маркеров для различных обстоятельств.
Индивидуальный
Разные бассейны требуют разных креплений и приспособлений. Таким образом, все подводные системы захвата движения разрабатываются индивидуально для каждого конкретного бассейна. Для камер, размещенных в центре бассейна, предусмотрены специально разработанные штативы с присосками.
Без маркеров
Новые методы и исследования в области компьютерного зрения ведут к быстрому развитию безмаркерного подхода к захвату движения. Безмаркерные системы, такие как разработанные в Стэнфордском университете , Университете Мэриленда , Массачусетском технологическом институте и Институте Макса Планка , не требуют, чтобы испытуемые носили специальное оборудование для отслеживания. Специальные компьютерные алгоритмы предназначены для того, чтобы позволить системе анализировать несколько потоков оптического ввода и идентифицировать человеческие формы, разбивая их на составные части для отслеживания. ESC Entertainment , дочерняя компания Warner Brothers Pictures , созданная специально для обеспечения виртуальной кинематографии , включая фотореалистичные цифровые двойники для съемок фильмов «Матрица: перезагрузка » и «Матричные революции », использовала технику под названием Universal Capture, которая использовала настройку 7 камер и отслеживание оптического потока . всех пикселей во всех двухмерных плоскостях камер для захвата движения, жестов и выражения лица , что приводит к фотореалистичным результатам.
Традиционные системы
Традиционно безмаркерное оптическое отслеживание движения используется для отслеживания различных объектов, включая самолеты, ракеты-носители, ракеты и спутники. Многие из таких приложений оптического отслеживания движения используются на открытом воздухе, что требует различных конфигураций объектива и камеры. Таким образом, изображения отслеживаемой цели с высоким разрешением могут предоставить больше информации, чем просто данные о движении. Изображение, полученное с помощью системы дальнего слежения НАСА за фатальный запуск космического корабля "Челленджер", предоставило важные доказательства причины аварии. Оптические системы слежения также используются для идентификации известных космических аппаратов и космического мусора, несмотря на то, что они имеют недостаток по сравнению с радаром в том, что объекты должны отражать или излучать достаточное количество света.
Оптическая система слежения обычно состоит из трех подсистем: оптической системы формирования изображений, механической платформы слежения и компьютера слежения.
Система оптического изображения отвечает за преобразование света от целевой области в цифровое изображение, которое может обрабатывать компьютер слежения. В зависимости от конструкции оптической системы слежения система формирования оптических изображений может варьироваться от такой простой, как стандартная цифровая камера, до такой специализированной, как астрономический телескоп на вершине горы. Спецификация оптической системы формирования изображения определяет верхний предел эффективного диапазона системы слежения.
Платформа механического слежения удерживает систему оптического формирования изображения и отвечает за управление системой оптического формирования изображения таким образом, чтобы она всегда указывала на отслеживаемую цель. Динамика механической платформы слежения в сочетании с оптической системой формирования изображения определяет способность системы слежения удерживать цель, которая быстро меняет скорость.
Компьютер слежения отвечает за захват изображений из оптической системы формирования изображений, анализ изображения для определения положения цели и управление механической платформой слежения для следования за целью. Есть несколько проблем. Во-первых, компьютер слежения должен иметь возможность захватывать изображение с относительно высокой частотой кадров. Это предъявляет требования к пропускной способности оборудования для захвата изображения. Вторая проблема заключается в том, что программное обеспечение для обработки изображений должно иметь возможность извлекать целевое изображение из фона и вычислять его положение. Для этой задачи разработано несколько алгоритмов обработки изображений из учебников. Эту проблему можно упростить, если система сопровождения может рассчитывать на определенные характеристики, общие для всех целей, которые она будет отслеживать. Следующая проблема заключается в том, чтобы управлять платформой слежения, чтобы следовать за целью. Это типичная проблема проектирования системы управления, а не задача, которая включает в себя моделирование динамики системы и разработку контроллеров для управления ею. Однако это станет проблемой, если платформа отслеживания, с которой должна работать система, не предназначена для работы в режиме реального времени.
Программное обеспечение, на котором работают такие системы, также настраивается для соответствующих аппаратных компонентов. Одним из примеров такого программного обеспечения является OpticTracker, которое управляет компьютеризированными телескопами для отслеживания движущихся объектов на больших расстояниях, таких как самолеты и спутники. Другим вариантом является программное обеспечение SimiShape, которое также можно использовать в комбинации с маркерами.
Камеры RGB-D
Камеры RGB-D, такие как kinect , захватывают как цветные изображения, так и изображения глубины. Путем слияния двух изображений можно получить трехмерный цветной волекс , что позволяет захватывать трехмерное движение человека и его поверхность в режиме реального времени.
Из-за использования камеры с одним обзором движения обычно зашумлены. Были предложены методы машинного обучения для автоматического преобразования таких шумных движений в более качественные с использованием таких методов, как ленивое обучение и модели Гаусса . Такой метод генерирует достаточно точное движение для серьезных приложений, таких как оценка эргономики.
Неоптические системы
Инерциальные системы
Технология инерциального захвата движения основана на миниатюрных инерциальных датчиках, биомеханических моделях и алгоритмах объединения датчиков . Данные о движении инерциальных датчиков ( инерциальная система наведения ) часто передаются по беспроводной сети на компьютер, где движение записывается или просматривается. В большинстве инерциальных систем для измерения скорости вращения используются инерциальные измерительные блоки (IMU), содержащие комбинацию гироскопа, магнитометра и акселерометра. Эти вращения переводятся в скелет в программном обеспечении. Как и в случае с оптическими маркерами, чем больше датчиков IMU, тем более естественными будут данные. Для относительных движений не требуются внешние камеры, излучатели или маркеры, хотя при желании они необходимы для определения абсолютного положения пользователя. Инерциальные системы захвата движения фиксируют все шесть степеней свободы движения тела человека в режиме реального времени и могут давать ограниченную информацию о направлении, если они включают датчик магнитного пеленга, хотя они имеют гораздо более низкое разрешение и чувствительны к электромагнитным помехам. Преимущества использования инерциальных систем включают в себя: захват в различных средах, включая ограниченное пространство, отсутствие решения, портативность и большие области захвата. Недостатки включают более низкую точность позиционирования и позиционный дрейф, который со временем может увеличиваться. Эти системы похожи на контроллеры Wii, но более чувствительны и имеют большее разрешение и частоту обновления. Они могут точно измерить направление на землю с точностью до градуса. Популярность инерциальных систем растет среди разработчиков игр, в основном из-за быстрой и простой настройки, что приводит к быстрому конвейеру. В настоящее время доступен ряд костюмов от разных производителей, а базовые цены варьируются от 1000 до 80 000 долларов США.
Механическое движение
Механические системы захвата движения непосредственно отслеживают углы сочленения тела и часто называются системами захвата движения экзоскелета из-за способа крепления датчиков к телу. Исполнитель прикрепляет скелетоподобную структуру к своему телу, и когда они двигаются, то же самое делают и сочлененные механические части, измеряя относительное движение исполнителя. Механические системы захвата движения — это работающие в режиме реального времени, относительно недорогие, свободные от окклюзии и беспроводные (непривязанные) системы с неограниченным объемом захвата. Как правило, они представляют собой жесткие конструкции из шарнирных прямых металлических или пластиковых стержней, соединенных вместе с потенциометрами, которые сочленяются в шарнирах корпуса. Эти костюмы, как правило, стоят от 25 000 до 75 000 долларов плюс внешняя система абсолютного позиционирования. Некоторые костюмы обеспечивают ограниченную силовую обратную связь или тактильный ввод.
Магнитные системы
Магнитные системы рассчитывают положение и ориентацию по относительному магнитному потоку трех ортогональных катушек как на передатчике, так и на каждом приемнике. Относительная интенсивность напряжения или тока трех катушек позволяет этим системам вычислять как дальность, так и ориентацию путем тщательного отображения объема отслеживания. Выход датчика 6DOF , что обеспечивает полезные результаты, полученные с двумя третями количества маркеров, необходимых в оптических системах; один на плечо и один на предплечье для положения и угла локтя. Маркеры не закрываются неметаллическими объектами, но чувствительны к магнитным и электрическим помехам от металлических объектов в окружающей среде, таких как арматура (стальные арматурные стержни в бетоне) или проводка, которые влияют на магнитное поле, и электрические источники, такие как мониторы, светильники, кабели и компьютеры. Реакция сенсора нелинейна, особенно по краям области захвата. Проводка от датчиков имеет тенденцию исключать экстремальные движения производительности. С помощью магнитных систем можно отслеживать результаты сеанса захвата движения в режиме реального времени. Объемы захвата для магнитных систем значительно меньше, чем для оптических систем. Что касается магнитных систем, существует различие между системами переменного тока (AC) и системами постоянного тока (DC): в системе постоянного тока используются прямоугольные импульсы, в системах переменного тока используются синусоидальные импульсы.
Датчики растяжения
Датчики растяжения представляют собой гибкие конденсаторы с параллельными пластинами, которые измеряют растяжение, изгиб, сдвиг или давление и обычно изготавливаются из силикона. Когда датчик растягивается или сжимается, значение его емкости изменяется. Эти данные могут передаваться через Bluetooth или напрямую и использоваться для обнаружения мельчайших изменений в движении тела. Датчики растяжения не подвержены влиянию магнитных помех и не засоряются. Растягивающийся характер датчиков также означает, что они не подвержены позиционному дрейфу, характерному для инерциальных систем.
Связанные методы
Захват движения лица
Большинство поставщиков традиционного оборудования для захвата движения обеспечивают захват лиц с низким разрешением, используя от 32 до 300 маркеров с активной или пассивной системой маркеров. Все эти решения ограничены временем, необходимым для нанесения маркеров, калибровки позиций и обработки данных. В конечном счете, технология также ограничивает их разрешение и уровни качества необработанного вывода.
Захват движения лица с высокой точностью, также известный как захват производительности , представляет собой следующее поколение точности и используется для записи более сложных движений человеческого лица, чтобы зафиксировать более высокие степени эмоций. Захват лица в настоящее время распределяется по нескольким различным лагерям, включая традиционные данные захвата движения, решения на основе смешанной формы, захват фактической топологии лица актера и проприетарные системы.
Двумя основными методами являются стационарные системы с массивом камер, фиксирующих выражения лица под разными углами, и использование программного обеспечения, такого как решатель стереосетки от OpenCV, для создания трехмерной поверхностной сетки или использование световых массивов для вычисления нормалей поверхности из изменение яркости при изменении источника света, положения камеры или того и другого. Эти методы, как правило, ограничены в разрешении объекта только разрешением камеры, видимым размером объекта и количеством камер. Если лицо пользователя составляет 50 процентов рабочей области камеры, а камера имеет мегапиксельное разрешение, то субмиллиметровые движения лица могут быть обнаружены путем сравнения кадров. Недавняя работа сосредоточена на увеличении частоты кадров и создании оптического потока, чтобы движения могли быть перенацелены на другие лица, сгенерированные компьютером, а не просто на создание 3D-сетки актера и его выражений.
РЧ-позиционирование
РЧ (радиочастотные) системы позиционирования становятся все более жизнеспособными, поскольку высокочастотные РЧ устройства обеспечивают большую точность, чем более старые РЧ технологии, такие как традиционные радары . Скорость света составляет 30 сантиметров в наносекунду (миллиардную долю секунды), поэтому радиочастотный сигнал частотой 10 гигагерц (миллиардов циклов в секунду) обеспечивает точность около 3 сантиметров. Измеряя амплитуду до четверти длины волны, можно улучшить разрешение примерно до 8 мм. Для достижения разрешения оптических систем необходимы частоты 50 гигагерц и выше, которые почти так же зависят от прямой видимости и так же легко блокируются, как и оптические системы. Многолучевость и переизлучение сигнала, вероятно, вызовут дополнительные проблемы, но эти технологии будут идеальными для отслеживания больших объемов с разумной точностью, поскольку требуемое разрешение на расстоянии 100 метров вряд ли будет таким высоким. Многие ученые в области радиочастот считают, что радиочастота никогда не обеспечит точности, необходимой для захвата движения.
Исследователи из Массачусетского технологического института заявили в 2015 году, что они создали систему, которая отслеживает движение с помощью радиочастотных сигналов, под названием RF Tracking.
Нетрадиционные системы
Был разработан альтернативный подход, при котором актеру предоставляется неограниченная площадь для прогулок за счет использования вращающейся сферы, похожей на мячик для хомяка , которая содержит внутренние датчики, регистрирующие угловые движения, что устраняет необходимость во внешних камерах и другом оборудовании. Несмотря на то, что эта технология потенциально может привести к значительному снижению затрат на захват движения, базовая сфера способна записывать только одно непрерывное направление. Для записи чего-либо большего потребуются дополнительные датчики, надетые на человека.
Другой альтернативой является использование платформы движения 6DOF (степеней свободы) со встроенной всенаправленной беговой дорожкой с оптическим захватом движения с высоким разрешением для достижения того же эффекта. Захваченный человек может ходить по неограниченной территории, преодолевая различные неровности местности. Приложения включают медицинскую реабилитацию для тренировки равновесия, биомеханические исследования и виртуальную реальность.
3D оценка позы
При оценке позы в 3D позу актера можно реконструировать по изображению или карте глубины .
Смотрите также
- База данных анимации
- Распознавание жестов
- Отслеживание пальцев
- Инверсная кинематика (другой способ сделать эффекты CGI реалистичными)
- Kinect (создан корпорацией Microsoft)
- Список форматов файлов движений и жестов
- Захват движения
- Отслеживание видео
- Отслеживание положения в виртуальной реальности
использованная литература
внешняя ссылка
|
Ресурсы библиотеки о захвате движения |
- Увлечение захватом движения , введение в историю технологии захвата движения