ИИ месяц читал секретные письма, пока никто не смотрел

Microsoft признала, что с января ИИ-ассистент Copilot имел доступ к письмам, на которых стояла пометка «конфиденциально». Хотя корпоративные политики безопасности это прямо запрещали. Заявляют, что исправили уязвимость, не называя число пострадавших клиентов.

Бедняга ассистент в этом случае даже не виноват, он просто делал свою работу. Читал почту и составлял краткие выжимки, не зная, что делать ему этого, строго говоря, нельзя. Ограничения существовали снаружи, в настройках безопасности: причиной стала случайная (случайная ли?) ошибка в коде при обработке писем из папок «Отправленные» и «Черновики».

Есть ещё один неприятный нюанс: Copilot в корпоративной версии обычно ведёт логи своих действий для внутреннего аудита. Это значит, что краткое содержание переписки могло осесть в журналах, доступных более широкому кругу людей, чем сам оригинал. Microsoft этот вопрос пока обходит стороной.

Проблема не только в конкретном ассистенте — любой ИИ-агент, которому дают доступ к корпоративным данным, работает по похожей логике. Правила доступа и безопасности существуют отдельно и должны отсеивать те данные, которые ИИ трогать нельзя. Поэтому чем больше интеграций и автоматизации, тем больше стыков появляется и тем более хрупкой в итоге становится вся система.