Камера отметит объекты в кадре, которые смогла распознать, определит что это и где продаётся. Приложение может перевести надпись на иностранном языке с помощью Яндекс.Переводчика. Переведённый текст появится поверх изображения.
В основе умной камеры лежат технологии компьютерного зрения. С их помощью камера выделяет на изображении отдельные объекты и распознаёт, что перед ней — стол, стул или, например, комнатное растение. Для этого используются нейронные сети, обученные на огромном числе примеров. Также технологии компьютерного зрения позволяют найти и распознать надпись на картинке, которую нужно перевести.
Умная камера доступна в приложении Яндекс для iOS и Android. Чтобы её включить, нужно нажать на иконку камеры в поисковой строке.