Блок обработки зрения - Vision processing unit
Блок обработки изображений ( VPU ) - это (по состоянию на 2018 год) новый класс микропроцессоров ; это особый тип ускорителя искусственного интеллекта , предназначенный для ускорения задач машинного зрения .
Обзор
Блоки обработки изображений отличаются от блоков обработки видео (которые специализируются на кодировании и декодировании видео ) своей пригодностью для работы с такими алгоритмами машинного зрения , как CNN ( сверточные нейронные сети ), SIFT ( масштабно-инвариантное преобразование признаков ) и т.п.
Они могут включать в себя прямые интерфейсы для приема данных с камер (в обход любых внешних буферов) и иметь больший акцент на потоке данных внутри кристалла между множеством параллельных исполнительных модулей с оперативной памятью , например, многоядерным DSP . Но, как и блоки обработки видео, они могут быть ориентированы на арифметику с фиксированной запятой низкой точности для обработки изображений .
Контраст с графическими процессорами
Они отличаются от графических процессоров , которые содержат специализированное оборудование для растеризации и наложения текстур (для трехмерной графики ) и чья архитектура памяти оптимизирована для управления растровыми изображениями во внешней памяти (чтение текстур и изменение буферов кадров с использованием шаблонов произвольного доступа ) .
Целевые рынки - робототехника , Интернет вещей , новые классы цифровых камер для виртуальной и дополненной реальности , интеллектуальные камеры и интеграция ускорения машинного зрения в смартфоны и другие мобильные устройства .
Примеры
- Movidius Myriad X , блок обработки изображений третьего поколения в линейке Myriad VPU от Intel Corporation .
- Movidius Myriad 2 , который находит применение в Google Project Tango , Google Clips и DJI Drones
- Pixel Visual Core (PVC), который представляет собой полностью программируемый процессор изображений , машинного зрения и искусственного интеллекта для мобильных устройств.
- Microsoft HoloLens , который включает в себя ускоритель, называемый блоком голографической обработки (дополняющий его CPU и GPU), предназначенный для интерпретации входных сигналов камеры, чтобы ускорить отслеживание окружающей среды и визуализацию для приложений дополненной реальности.
- Eyeriss , разработка из Массачусетского технологического института, предназначенная для работы сверточных нейронных сетей .
- NeuFlow , разработка Яна Лекуна (реализованная в FPGA ) для ускорения сверток с использованием архитектуры потока данных.
- Mobileye EyeQ от Mobileye
- Programmable Vision Accelerator (PVA), 7-процессорный процессор VLIW Vision, разработанный Nvidia .
Подобные процессоры
Некоторые процессоры не описываются как VPU, но в равной степени применимы для задач машинного зрения. Они могут образовывать более широкую категорию ускорителей ИИ (к которым также могут принадлежать VPU), однако по состоянию на 2016 год единого мнения по названию нет:
- IBM TrueNorth , нейроморфный процессор, предназначенный для аналогичных задач распознавания образов сенсорных данных и интеллектуальных задач, включая видео / аудио.
- Процессор Qualcomm Zeroth Neural - еще одна новинка в развивающемся классе микросхем, ориентированных на сенсоры и ИИ.
Смотрите также
- Adapteva Epiphany , многоядерный процессор с аналогичным акцентом на потоки данных внутри кристалла, сосредоточился на производительности 32-битных операций с плавающей запятой .
- CELL , многоядерный процессор с функциями, довольно совместимыми с устройствами обработки изображений ( инструкции и типы данных SIMD, подходящие для видео, и встроенный DMA между блоками памяти).
- Сопроцессор
- Блок графической обработки , также обычно используемый для запуска алгоритмов машинного зрения. Архитектура NVidia Pascal включает поддержку FP16 , чтобы обеспечить лучший компромисс между точностью и стоимостью для рабочих нагрузок AI.
- MPSoC
- OpenCL
- OpenVX
- Блок обработки физики - это прошлая попытка дополнить ЦП и ГП ускорителем с высокой пропускной способностью.
- Блок обработки тензор , чип, используемый Google для ускорения вычислений AI.