«Наша цель — сделать устройства интернета вещей значительно умнее, поэтому мы хотим дать клиентам решения с мощным ИИ, реализованным на уровне устройства, обширными возможностями распознавания и обработки данных с камеры и высоким уровнем защиты. ИИ уже позволяет камерам распознавать объекты, отслеживать и классифицировать их и даже распознавать лица людей. Появляются роботы, которые самостоятельно объезжают или обходят препятствия, и самообучающиеся экшн-камеры, способные сгенерировать нарезку с лучшими моментами из очередного приключения пользователя. Но это всё — только начало, — отметил Джосеф Бусаба (Joseph Bousaba), вице-президент по управлению продукцией Qualcomm Technologies, Inc. — Выпуск платформы Qualcomm Vision Intelligence стал кульминацией многолетних исследований и разработок, которые позволили добиться настоящего прорыва в области распознавания изображений с камеры, работы ИИ на уровне устройства и гетерогенных вычислений. Наша платформа — это идеальная база для производителей и разработчиков, которые планируют построить новый мир интеллектуальных устройств интернета вещей».
Комплекс Qualcomm Artificial Intelligence (AI) Engine
Платформа Vision Intelligence включает комплекс Qualcomm AI Engine, в который входит целый ряд аппаратных и программных компонентов для ускорения работы функций ИИ устройства. В частности, к их числу относится фреймворк Qualcomm Snapdragon Neural Processing Engine (NPE) с инструментами для анализа, оптимизации и отладки решений на базе Tensorflow, Caffe и Caffe2, средства поддержки формата Open Neural Network Exchange, Android Neural Networks API и библиотека Qualcomm Hexagon Neural Network. Все эти компоненты должны помочь разработчикам и OEM-производителям легко портировать на платформу «обученные» нейронные сети. Благодаря применению Qualcomm AI Engine и Snapdragon NPE платформа Vision Intelligence способна достичь вычислительной мощности нейронных сетей в 2,1 TOPS (триллион операций в секунду) при работе нейронной сети, что более чем в два раза превышает показатели некоторых ведущих альтернативных решений.
Превосходное качество видео
Платформа Vision Intelligence поддерживает работу с видео в разрешении до 4K при 60 fps либо до 5.7K при fps и обработку сразу нескольких видеопотоков с более низким разрешением. Чтобы добиться максимального качества изображения, в платформе используется самый мощный ISP из созданных Qualcomm Technologies — двойной 14-битный Qualcomm Spectra 270 ISP с поддержкой двойных 16-мегапиксельного сенсоров. Последние несколько поколений этого процессора регулярно занимают ведущие позиции в рейтинге бенчмарка DxOMark. В дополнение к этому платформа Vision Intelligence поддерживает продвинутые функции обработки изображения, необходимые в среде интернета вещей, включая «шахматный» HDR, который устраняет эффект шлейфов при записи видео с расширенным динамическим диапазоном, улучшенную электронную стабилизацию изображения, функции устранения деформаций, шума, хроматической аберрации и временны́е фильтры с компенсацией движения на аппаратном уровне.
Архитектура и основные особенности системы гетерогенных вычислений
Архитектура гетерогенных вычислений в QCS605 включает восемь ядер Qualcomm Kryo 360, графический процессор Qualcomm Adreno 615 и векторный процессор Hexagon 685. Встроенный дисплейный процессор платформы Vision Intelligence поддерживает сенсорные экраны с разрешением до WQHD, аппаратное ускорение, 3D-оверлеи и основные графические API, включая OpenGL, OpenCL и Vulkan. Также архитектура поддерживает разнообразные высокоуровневые операционные системы и спроектирована таким образом, чтобы разработчики и производители могли легко внедрять дифференцирующие функции в свои решения, например, склейку 360-градусных видео в камерах виртуальной реальности, системы автономной навигации и уклонения от препятствий для роботов, а также создание видеоколлажей для экшн-камер.
Платформа Vision Intelligence поддерживает беспроводные сети Wi-Fi 2×2 802.11ac с применением MU-MIMO и одновременной двухканальной передачей данных, Bluetooth 5.1, ПО Qualcomm 3D Audio Suite, технологию Qualcomm Aqstic и протокол беспроводной передачи звука Qualcomm aptX. Кроме того, платформа поддерживает технологию шумоподавления Qualcomm Noise и технологию подавления эхо Echo Cancellation, а также усовершенствованные встроенные функции анализа и обработки звука для работы с естественными языками, распознавания речи и возможности вычленить её, чтобы обеспечить надёжное управление голосом даже в шумной среде или в случае, если пользователь находится далеко от устройства.
Безопасность платформы реализована на аппаратном уровне и обеспечивает поддержку доверенных устройств интернета вещей при помощи таких функций, как безопасная загрузка с доверенного корневого каталога аппаратного уровня, надежная среда исполнения, аппаратные криптографические движки, безопасность хранения данных, безопасная отладка с управлением жизненным циклом, генерация ключей и безопасность беспроводного протокола.
Экосистема и доступность
Чтобы ускорить разработку и дифференцировать свои продукты, производители могут воспользоваться экосистемой разработчиков технологий, решения которых дополняют платформу Vision Intelligence. Среди них есть поставщики систем ИИ, такие, как SenseTime (распознавание изображений, лиц и объектов), Pilot.ai (задачи, связанные с компьютерным зрением, включая обнаружение, классификацию и отслеживание действий и объектов) и MM Solutions (передовые системы улучшения качества изображения).
Системы Qualcomm QCS605 и QCS603 в данный момент проходят тестирование, при этом создаются различные их версии под конкретные технические и экономические требования. Уже доступны референсные образцы камер виртуальной реальности с 360-градусным обзором на базе QCS605, произведенные совместно Qualcomm Technologies и Altek Corporation, ведущим разработчиком и конструктором камер, а во второй половине 2018 года появятся референсные образцы промышленных камер безопасности на базе QCS603.