По планам Microsoft, специалисты в компании автоматизированных агентов будут круглосуточно атаковать инфраструктуру Azure и Copilot, имитируя реальных противников. Пока в соцсетях вполне оправданно смеются над галлюцинациями (придуманными фактами и лишними пальцами на картинках), для бизнеса это проблема куда серьёзнее. Ведь ИИ перестал быть просто чат-ботом и стал прослойкой между сотрудником и корпоративными данными. Главный риск теперь — не глупый ответ, а успешная атака (например, с инъекцией собственных инструкций злоумышленника), когда модель, имеющая доступ к рабочей почте или базам данных, сливает секреты наружу и уничтожает корпоративные данные.
Microsoft на этом пути не единственные. Те же Google в марте прошлого года совершили рекордную сделку — купили стартап в области облачной безопасности Wiz. Удивительным образом так вышло, что тоже израильский. И чем дальше, тем больше индустрия признаёт, что логика работы языковых моделей предполагает взлом, навязывание ролей, подмену инструкций и прочие подобные неприятности. А учитывая, с какой скоростью технологию сегодня интегрируют в CRM, ERP, корпоративные сервисы и итоговые продукты, вокруг каждого «умного помощника» приходится строить второй невидимый продукт — жёсткую систему инструкций, ограничений и надзора.