Умные очки с ИИ считали данные людей прямо на улице: как это работает

Обнаружили интересный эксперимент. Голландский журналист Александр Клёппинг надел очки, прошёлся по улице и смог в реальном времени получить досье о прохожих — их имя, место работы, публичные профили. Помог ему в этом искусственный интеллект (и не самое аккуратное отношение людей к приватности в интернете). Видео самого эскперимента доступно здесь.

Очки — обычные Ray-Ban Meta*, на которые у нас когда-то даже был обзор. Они в данном случае выступают камерой, которая передаёт картинку на телефон или сервер. Дальше в дело вступает проект I-XRAY: лицо вырезается из кадра, прогоняется через поисковики вроде PimEyes (которые индексируют фото из соцсетей), а затем языковая модель собирает разрозненные ссылки в аккуратную справку. В неё попадают найденные имя, должность, профили в соцсетях и другая информация.

Как оказалось, подобное не запрещено — во всяком случае, смотреть и снимать других людей в общественных местах в ЕС можно, да и про нейросети с поиском по интернету никаких уточнений в законе нет, ведь люди сами разместили информацию о себе в интернете. Показательно, насколько быстрее можно получить информацию, если общаться изображениями и словами вместо интерфейсов на экране. Связка камера + распознавание + большая языковая модель позволяет добиться этого уже сегодня.

ИТ-гиганты это тоже понимают, поэтому подобные гаджеты делают все главные игроки рынка. Очки в разработке у Google, Meta*, Apple, Samsung и других компаний, которые параллельно улучшают голосовых ассистентов и мультимодальные функции ИИ-моделей. Их интерес понять легко — если энтузиаст смог собрать столько информации о людях на улице, то у корпораций возможностей будет ещё больше. В теории, они смогут получить доступ к видео от первого лица миллионов людей, обучаясь на всём, что видят пользователи.

* компания Meta и её продукты признаны экстремистскими и запрещены в России