«Умный» рюкзак помогает слепым ориентироваться в пространстве

Команда разработчиков решений на базе искусственного интеллекта (ИИ), которую возглавляет Джагадиш К. Махендран (Jagadish K. Mahendran), создала ИИ-рюкзак с голосовым управлением. Его задача — помочь людям с ограниченными возможностями в области зрения ориентироваться в пространстве и более детально воспринимать окружающий мир. По мере передвижения система информирует пользователя в звуковой форме о различных препятствиях, например, ветках деревьев. Кроме того, система оповещает о дорожных знаках, приближении к пешеходных переходам, бордюрам, лестницам и подъездам, а также о движении других пешеходов.

Внутри небольшого рюкзака располагается вычислительный модуль, например, ноутбук. Камера встраивается в куртку-жилет, а в поясной сумке скрывается компактная батарея, обеспечивающая около восьми часов автономной работы. Пространственная ИИ-камера Luxonis OAK-D может быть подключена к жилету или поясной сумке и затем к вычислительному модулю в рюкзаке. Обзор камере обеспечивают три отверстия в жилете.

Модуль OAK-D представляет собой универсальное ИИ-устройство на базе Intel Movidius VPU и инструментов Intel Distribution of OpenVINO. Решение работает с современными нейронными сетями и обеспечивает ускорение функций компьютерного зрения и разметки карты глубины в режиме реального времени — с помощью стереопары, а также за счёт цветовой информации от 4К-камеры.

Благодаря наушникам с технологией Bluetooth пользователь может взаимодействовать с системой с помощью голосовых запросов и команд, при этом решение отвечает посредством устных сообщений.

Согласно оценке Всемирной организации здравоохранения (ВОЗ), во всем мире насчитывается 285 миллионов людей с ослабленным зрением. Между тем, системы визуальной помощи для навигации — от мобильных приложений с GPS-трекером и голосовых ассистентов до интеллектуальных тростей со встроенной камерой, имеют крайне ограниченные возможности. Таким решениям не хватает восприятия глубины, которое необходимо для облегчения самостоятельной навигации слабовидящих.

«В прошлом году, когда я повстречал слабовидящего приятеля, я был поражен горькой иронией того, что пока я обучаю роботов видеть, на свете есть много людей, нуждающихся в помощи. Это побудило меня создать систему визуальной помощи на базе открытого ПО OpenCV Artificial Intelligence Kit с пространственной ИИ-системой зрения Depth (OAK-D) от Intel», — сказал Джагадиш К. Махендран, Институт ИИ при Университете Джорджии, США (Institute for Artificial Intelligence, University of Georgia).