Качество видео - Video quality

Качество видео - это характеристика видео, прошедшего через систему передачи или обработки видео, которая описывает воспринимаемое ухудшение видео (обычно по сравнению с исходным видео). Системы обработки видео могут вносить в видеосигнал некоторое количество искажений или артефактов, которые негативно влияют на восприятие системы пользователем. Для многих заинтересованных сторон в производстве и распространении видео обеспечение качества видео является важной задачей.

Оценка качества видео выполняется для описания качества исследуемого набора видеопоследовательностей. Качество видео можно оценить объективно (с помощью математических моделей) или субъективно (спросив пользователей об их оценке). Кроме того, качество системы может быть определено в автономном режиме (т. Е. В лабораторных условиях для разработки новых кодеков или услуг) или в процессе эксплуатации (для мониторинга и обеспечения определенного уровня качества).

От аналогового к цифровому видео

С тех пор, как была записана и передана первая в мире видеопоследовательность, было разработано множество систем обработки видео. Такие системы кодируют видеопотоки и передают их по различным типам сетей или каналов. В эпоху аналоговых видеосистем было возможно оценивать аспекты качества системы обработки видео путем расчета частотной характеристики системы с использованием тестовых сигналов (например, набора цветных полос и кругов).

Цифровые видеосистемы практически полностью вытеснили аналоговые, изменились методы оценки качества. Производительность системы обработки и передачи цифрового видео может значительно различаться и зависит от многих факторов, включая характеристики входного видеосигнала (например, количество движения или пространственные детали), настройки, используемые для кодирования и передачи, а также точность канала или сеть. представление.

Объективное качество видео

Объективные модели качества видео - это математические модели, которые аппроксимируют результаты субъективной оценки качества , в которой наблюдателей просят оценить качество видео. В этом контексте термин « модель» может относиться к простой статистической модели, в которой несколько независимых переменных (например, скорость потери пакетов в сети и параметры видеокодирования) соответствуют результатам, полученным в тесте субъективной оценки качества с использованием методов регрессии . Модель также может быть более сложным алгоритмом, реализованным в программном или аппаратном обеспечении.

Терминология

Термины модель и метрика часто используются как синонимы в данной области. Однако метрика имеет определенные математические свойства, которые по строгому определению не применимы ко всем моделям качества видео.

Термин «объективный» относится к тому факту, что, как правило, модели качества основаны на критериях, которые можно измерить объективно, то есть не допускать интерпретации человеком. Они могут быть автоматически оценены компьютерной программой. В отличие от группы людей-наблюдателей, объективная модель всегда должна детерминированно выдавать один и тот же показатель качества для заданного набора входных параметров.

Объективные модели качества иногда также называют инструментальными (качественными) моделями , чтобы подчеркнуть их применение в качестве инструментов измерения. Некоторые авторы предполагают, что термин «объективный» вводит в заблуждение, поскольку он «подразумевает, что инструментальные измерения несут объективность, что они и делают только в том случае, если их можно обобщить».

Классификация объективных моделей качества видео

Классификация моделей объективного качества видео на Full-Reference, Reduced-Reference и No-Reference.

Методы оценки качества безреференсных изображений и видео.

Объективные модели можно классифицировать по количеству доступной информации об исходном сигнале, принятом сигнале или наличии сигнала вообще:

• Полные справочные методы (FR): модели FR вычисляют разницу в качестве, сравнивая исходный видеосигнал с полученным видеосигналом. Обычно каждый пиксель из источника сравнивается с соответствующим пикселем в полученном видео, без каких-либо сведений о процессе кодирования или передачи между ними. Более сложные алгоритмы могут комбинировать оценку на основе пикселей с другими подходами, такими как описанные ниже. Модели FR обычно являются наиболее точными за счет более высоких вычислительных затрат. Поскольку они требуют наличия исходного видео перед передачей или кодированием, они не могут использоваться во всех ситуациях (например, когда качество измеряется с клиентского устройства).
• Методы сокращенных ссылок (RR): модели RR извлекают некоторые особенности обоих видео и сравнивают их, чтобы дать оценку качества. Они используются, когда все исходное видео недоступно или когда это практически невозможно, например, при передаче с ограниченной полосой пропускания. Это делает их более эффективными, чем модели FR, за счет более низкой точности.
• Безреференсные методы (NR): модели NR пытаются оценить качество искаженного видео без какой-либо ссылки на исходный сигнал. Из-за отсутствия исходного сигнала они могут быть менее точными, чем подходы FR или RR, но более эффективны для вычислений.
  • Методы на основе пикселей (NR-P): модели на основе пикселей используют декодированное представление сигнала и анализируют качество на основе информации о пикселях. Некоторые из них оценивают только определенные типы ухудшения, такие как размытие или другие артефакты кодирования .
  • Методы параметрического / битового потока (NR-B): в этих моделях используются функции, извлеченные из контейнера передачи и / или видеобитового потока, например, заголовки пакетов MPEG-TS , векторы движения и параметры квантования. Они не имеют доступа к исходному сигналу и не требуют декодирования видео, что делает их более эффективными. В отличие от моделей NR-P, они не имеют доступа к окончательному декодированному сигналу. Однако их прогнозы качества изображения не очень точны.
  • Гибридные методы (гибридный NR-PB): гибридные модели объединяют параметры, извлеченные из потока битов, с декодированным видеосигналом. Таким образом, они представляют собой смесь моделей NR-P и NR-B.

Использование моделей качества изображения для оценки качества видео

Некоторые модели, которые используются для оценки качества видео (например, PSNR или SSIM ), представляют собой просто модели качества изображения , выходные данные которых рассчитываются для каждого кадра видеопоследовательности. Этот показатель качества каждого кадра затем может быть записан и объединен с течением времени для оценки качества всей видеопоследовательности. Хотя этот метод легко реализовать, он не учитывает определенные виды ухудшения качества, которые развиваются с течением времени, например, движущиеся артефакты, вызванные потерей пакетов и их маскировкой . Модель качества видео, которая учитывает временные аспекты ухудшения качества, например VQM или MOVIE Index , может дать более точные прогнозы качества, воспринимаемого человеком.

Примеры

Кроме того

Обзор последних моделей качества изображения без эталона был дан в журнальной статье Shahid et al. Как упоминалось выше, их также можно использовать для видеоприложений. Группа экспертов по качеству видео имеет специальную рабочую группу по разработке показателей без справочников (называемых NORM ).

Метрики на основе битового потока

Для метрик с полной или сокращенной ссылкой по-прежнему требуется доступ к исходному битовому потоку видео перед передачей или по крайней мере к его части. На практике исходный поток не всегда может быть доступен для сравнения, например, при измерении качества со стороны пользователя. В других ситуациях оператор сети может захотеть измерить качество видеопотоков, проходящих через его сеть, без их полного декодирования. Для более эффективной оценки качества видео в таких случаях были стандартизированы параметрические показатели / показатели на основе битового потока:

• Рек. МСЭ-Т. С.1201 , 2012
• Рек. МСЭ-Т. С.1202 , 2012
• Рек. МСЭ-Т. P.1203.1 , 2016
• Рек. МСЭ-Т. P.1204.3 , 2020

Обучение и оценка производительности

Поскольку ожидается, что объективные модели качества видео будут предсказывать результаты, данные людьми-наблюдателями, они разрабатываются с помощью субъективных результатов тестирования . Во время разработки объективной модели ее параметры должны быть обучены таким образом, чтобы достичь наилучшей корреляции между объективно прогнозируемыми значениями и субъективными оценками, часто доступными как средние оценки мнения (MOS).

Наиболее широко используемые материалы для субъективных тестов находятся в открытом доступе и включают неподвижные изображения, движущиеся изображения, потоковое видео, наборы данных высокой четкости, 3-D (стереоскопические) и специальные наборы данных, связанных с качеством изображения. Эти так называемые базы данных создаются различными исследовательскими лабораториями по всему миру. Некоторые из них стали де-факто стандартами, в том числе несколько общедоступных баз данных субъективного качества изображения, созданных и поддерживаемых Лабораторией инженерии изображений и видео (LIVE), а также База данных изображений Тампере 2008 . Коллекцию баз данных можно найти в репозитории баз данных QUALINET . В потребительской цифровой видеобиблиотеке (CDVL) размещены свободно доступные последовательности видеотестирования для разработки моделей.

Теоретически модель можно обучить на наборе данных таким образом, чтобы получить идеально совпадающие оценки для этого набора данных. Однако такая модель будет перетренирована и, следовательно, не будет хорошо работать с новыми наборами данных. Поэтому рекомендуется проверять модели на соответствие новым данным и использовать полученную производительность в качестве реального индикатора точности прогноза модели.

Для измерения производительности модели часто используются такие показатели, как коэффициент линейной корреляции , коэффициент ранговой корреляции Спирмена и среднеквадратичная ошибка (RMSE). Другие показатели являются коэффициент Каппа и отношение выпадающие . Рек. МСЭ-Т. P.1401 дает обзор статистических процедур для оценки и сравнения объективных моделей.

Использование и применение объективных моделей

Модели объективного качества видео могут использоваться в различных областях применения. При разработке видеокодеков производительность кодека часто оценивается в терминах PSNR или SSIM. Поставщики услуг могут использовать объективные модели для мониторинга системы. Например, провайдер IPTV может выбрать мониторинг качества своих услуг с помощью объективных моделей, а не спрашивать мнение пользователей или ждать жалоб клиентов на плохое качество видео. Некоторые из этих стандартов нашли коммерческое применение, включая PEVQ и VQuad-HD . SSIM также является частью коммерчески доступного набора инструментов для обеспечения качества видео (SSIMWAVE). VMAF используется Netflix для настройки своих алгоритмов кодирования и потоковой передачи, а также для контроля качества всего потокового контента. Он также используется другими технологическими компаниями, такими как Bitmovin, и интегрирован в программное обеспечение, такое как FFmpeg .

Объективную модель следует использовать только в том контексте, для которого она была разработана. Например, модель, разработанная с использованием определенного видеокодека, не гарантирует точность для другого видеокодека. Точно так же модель, обученная на тестах, проводимых на большом экране телевизора, не должна использоваться для оценки качества видео, просматриваемого на мобильном телефоне.

Другие подходы

При оценке качества видеокодека все упомянутые объективные методы могут потребовать повторения тестов посткодирования для определения параметров кодирования, которые удовлетворяют требуемому уровню визуального качества, что делает их трудоемкими, сложными и непрактичными для реализации в реальных коммерческих приложениях. . В настоящее время ведутся исследования по разработке новых методов объективной оценки, которые позволяют прогнозировать воспринимаемый уровень качества закодированного видео до того, как будет выполнено фактическое кодирование.

Артефакты качества видео

Все визуальные артефакты по-прежнему важны для качества видео. Уникальные не упомянутые атрибуты включают

Пространственный

• Размытие - результат потери высокочастотных деталей изображения, обычно с резкими краями.
• Блокировка - вызывается несколькими алгоритмами из-за внутреннего представления изображения с размером блоков 8, 16 или 32. С определенными параметрами они могут усреднять пиксели внутри блока, делая блоки отличными.
• Звонок , эхо или ореолы - принимает форму «ореола», полосы или «призрака» возле острых краев.
• Растекание цвета - происходит, когда края одного цвета на изображении непреднамеренно растекаются или перекрываются другим цветом.
• Лестничный шум - это частный случай блокировки по диагонали или криволинейному краю. Вместо того, чтобы рендериться гладко, он выглядит как ступеньки лестницы.

Временный

• Мерцание - обычно частое изменение яркости или цвета во времени. Он часто проявляется в виде мелкозернистого и крупнозернистого мерцания.
• Москитный шум - разновидность мерцания, типичным примером которого является нечеткость и / или мерцание вокруг высокочастотного контента (резкие переходы между объектами переднего плана и фоном или резкие края).
• Плавающий - относится к иллюзорному движению в определенных областях, в то время как окружающие области остаются статичными. Визуально эти области выглядят так, как будто они плавают поверх окружающего фона.
• Подергивание или дрожание - это воспринимаемое неравномерное или шаткое движение из-за выборки кадров. Часто это вызвано преобразованием фильмов со скоростью 24 кадра в секунду в видеоформат со скоростью 30 или 60 кадров в секунду.

Большинство из них можно сгруппировать в артефакты сжатия.

Субъективное качество видео

Основная цель многоцелевых показателей качества видео - автоматически оценить мнение среднего пользователя (зрителя) о качестве видео, обрабатываемого системой. Процедуры субъективного качества видео измерений описаны в МСЭ-R рекомендации BT.500 и МСЭ-Т P.910 . В таких тестах видеопоследовательности демонстрируются группе зрителей. Мнение зрителей записывается и усредняется в средний балл мнения для оценки качества каждой видеопоследовательности. Однако процедура тестирования может отличаться в зависимости от типа тестируемой системы.

Инструменты для оценки качества видео

• FFmpeg - FFmpeg - это ведущая мультимедийная среда, способная декодировать, кодировать, перекодировать, мультиплексировать, демультиплексировать, передавать, фильтровать и воспроизводить практически все, что создали люди и машины. Он поддерживает самые малоизвестные древние форматы до самых современных. Неважно, были ли они разработаны комитетом по стандартам, сообществом или корпорацией. Он также очень портативен: FFmpeg компилирует, запускает и передает нашу тестовую инфраструктуру FATE в Linux, Mac OS X, Microsoft Windows, BSD, Solaris и т. Д. В самых разных средах сборки, архитектурах и конфигурациях компьютеров.
• MSU VQMT - MSU Video Quality Measurement Tool (VQMT) - программа для объективной оценки качества видео. Он обеспечивает функциональные возможности как для полных (проверяются два видео), так и для однократных (анализируется одно видео) сравнений.
• EPFL VQMT - это программное обеспечение обеспечивает быструю реализацию следующих объективных показателей: PSNR, SSIM, MS-SSIM, VIFp, PSNR-HVS, PSNR-HVS-M. В этом программном обеспечении вышеуказанные метрики реализованы в OpenCV (C ++) на основе исходных реализаций Matlab, предоставленных их разработчиками.
• OpenVQ - OpenVQ - это набор инструментов для оценки качества видео. Цель этого проекта - предоставить всем, кто интересуется оценкой качества видео, набор инструментов, который а) предоставляет готовые к использованию реализации метрик качества видео и б) упрощает реализацию других метрик качества видео.
• Elecard - инструмент измерения качества видео, предназначенный для сравнения качества кодированных потоков на основе объективных показателей, таких как PSNR, APSNR, SSIM, DELTA, MSE, MSAD, VQM, NQI, VMAF и VMAF phone, VIF.
• AviSynth - AviSynth - мощный инструмент для пост-обработки видео. Он предоставляет способы редактирования и обработки видео. AviSynth работает как фрейм-сервер, обеспечивая мгновенное редактирование без необходимости использования временных файлов. Сам AviSynth не предоставляет графический пользовательский интерфейс (GUI), но вместо этого полагается на систему сценариев, которая позволяет расширенное нелинейное редактирование.
• VQ Probe - VQ Probe - это профессиональный визуальный инструмент для объективного и субъективного сравнения качества видео. Инструмент позволяет пользователям сравнивать различные стандарты кодеков, строить кривые RD и рассчитывать скорости BD.

Прогнозирование QoE для качества видео

Предсказание QoE в видео представляет собой серьезную проблему из-за множества возможных ситуаций и субъективного характера QoE. По этой причине для наиболее точного прогнозирования QoE мы должны использовать хороший классификатор, который может обнаруживать большинство типов ошибок или непредвиденных ситуаций, влияющих на качество видео. Некоторые исследования показали, что классификатор процессов Гаусса дает хорошие результаты для этого типа классификации.

Смотрите также

• Глоссарий терминов видео
• MDI
• Средняя оценка мнения
• Индекс ФИЛЬМА
• PSNR
• SSIM
• Субъективное качество видео
• Видеокодеки
• VMAF
• Визуальная достоверность информации

использованная литература

дальнейшее чтение

• Рекомендации МСЭ-R по субъективному качеству видео
• Рекомендации ITU-T по объективному и субъективному качеству видео