Суперсэмплинг глубокого обучения - Deep learning super sampling
Deep Learning Super Sampling ( DLSS ) - это технология временного масштабирования изображения, разработанная Nvidia и эксклюзивная для видеокарт Nvidia для использования в режиме реального времени в некоторых видеоиграх, с использованием глубокого обучения для повышения разрешения изображений с более низким разрешением до более высокого разрешения для отображения на более высоких экранах. -разрешение компьютерных мониторов. Nvidia утверждает, что эта технология повышает качество изображения до качества, аналогичного качеству рендеринга изображения в более высоком разрешении, но с меньшим количеством вычислений, выполняемых видеокартой, что позволяет использовать более высокие графические настройки и частоту кадров для данного разрешения. Nvidia утверждает, что «DLSS 2.0 предлагает качество изображения, сопоставимое с собственным разрешением».
С июня 2021 года эта технология доступна исключительно на графических процессорах серий GeForce RTX 20 и GeForce RTX 30 .
История
Nvidia рекламировала DLSS как ключевую функцию графических процессоров серии GeForce RTX 20, когда они были запущены в сентябре 2018 года. В то время результаты были ограничены несколькими видеоиграми (а именно Battlefield V и Metro Exodus ), потому что алгоритм нужно было специально обучать в каждой игре, к которой он применялся, и результаты обычно были не так хороши, как простое масштабирование разрешения.
В 2019 году приложение Control для видеоигр поставлялось с трассировкой лучей и улучшенной версией DLSS, в которой не использовались тензорные ядра.
В апреле 2020 года Nvidia анонсировала и поставила с версией драйвера 445.75 улучшенную версию DLSS под названием DLSS 2.0, которая была доступна для нескольких существующих игр, включая Control и Wolfenstein: Youngblood , и будет доступна позже для будущих игр. На этот раз Nvidia заявила, что снова использует тензорные ядра и что ИИ не нужно специально обучать для каждой игры.
По состоянию на июль 2021 года разработчики игр по-прежнему должны включать DLSS 2.0 для каждой игры .
История выпуска
Выпускать | Дата выхода | Особенности |
---|---|---|
1.0 | Февраль 2019 г. | Первая версия, использующая ИИ и специально обученная для определенных игр, включая Battlefield V и Metro Exodus. |
2.0 (первая итерация) | Август 2019 г. | Первая версия 2.0, также упоминаемая как версия 1.9, с использованием приблизительного ИИ незавершенной версии 2.0, работающей на шейдерных ядрах CUDA и специально адаптированной для Control |
2.0 (вторая итерация) | Апрель 2020 г. | Вторая версия 2.0, снова с использованием тензорных ядер и общего обучения |
Предустановки качества
Предустановка качества | Масштаб | Масштаб рендеринга |
---|---|---|
Качественный | 1,50x | 66,6% |
Сбалансированный | 1,72x | 58,0% |
Представление | 2,00x | 50,0% |
Ультра производительность с версии 2.1 | 3,00x | 33,3% |
Алгоритм
DLSS 1.0
Nvidia объяснила, что DLSS 1.0 работает для каждого целевого игрового изображения, создавая «идеальный кадр» с использованием традиционной суперсэмплинга , а затем обучая нейронную сеть на этих результирующих изображениях. На втором этапе модель была обучена распознавать входные данные с псевдонимом в исходном результате.
DLSS 2.0
DLSS 2.0 работает следующим образом:
- Нейронная сеть обучается Nvidia , используя «идеальные» образы видеоигр сверхвысоким разрешением на суперкомпьютерах и изображений с низким разрешением одних и тех же игр. Результат сохраняется в драйвере видеокарты . Говорят, что Nvidia использует серверы DGX-1 для обучения сети.
- Нейронная сеть, хранящаяся в драйвере, сравнивает фактическое изображение низкого разрешения с эталонным и выдает результат с полным высоким разрешением. Входными данными, используемыми обученной нейронной сетью, являются изображения с псевдонимом низкого разрешения, визуализируемые игровым движком , и векторы движения с низким разрешением из тех же изображений, также генерируемые игровым движком. Векторы движения сообщают сети, в каком направлении объекты в сцене перемещаются от кадра к кадру, чтобы оценить, как будет выглядеть следующий кадр.
Архитектура
DLSS доступен только на графических процессорах серий GeForce RTX 20 и GeForce RTX 30 в специальных ускорителях искусственного интеллекта, называемых тензорными ядрами .
Тензорные ядра доступны с момента появления микроархитектуры графического процессора Nvidia Volta , которая впервые была использована в линейке продуктов Tesla V100 . Их специфика заключается в том, что каждое ядро тензорного ядра работает с 16-битными матрицами 4 x 4 с плавающей запятой и, похоже, предназначено для использования на уровне CUDA C ++, даже на уровне компилятора .
Тензорные ядра используют примитивы CUDA Warp -Level в 32 параллельных потоках, чтобы использовать преимущества своей параллельной архитектуры. Деформация - это набор из 32 потоков, которые сконфигурированы для выполнения одной и той же инструкции.
Смотрите также
- Масштабирование изображения
- Глубокое обучение
- Суперсэмплинг
- GeForce
- Nvidia DGX
- Блок обработки тензор , специализированная интегральная схема (ASIC) AI-ускорителя, разработанная Google
- Список игр с поддержкой DLSS