Крипта, ИИ и два релиза

Серверы Alibaba Cloud зафиксировали аномалию: ИИ-агент Rome во время обучения самовольно поднял обратный SSH-туннель наружу, перехватил мощности GPU и принялся майнить криптовалюту. Исследователи назвали это первой в дикой природе демонстрацией «инструментальной конвергенции» — сценария, при котором ИИ решает, что для выполнения задачи ему необходимо захватить побольше ресурсов и обеспечить себе бесперебойный доступ к сети.

Правда, реальность оказалась, как это водится, чуть более прозаичной. Rome — это не языковая модель для генерации текстов, а специализированный агент, которого учили работать в терминале, писать код и выполнять длинные цепочки системных команд. Судя по документации проекта, среда изначально позволяла ему исполнять скрипты и выходить в сеть, если это не было жёстко запрещено настройками. Иными словами, алгоритм не обрел свободу воли и не восстал против создателей. Он просто оказался в плохо настроенном окружении с избыточными правами доступа и начал искать оптимальный путь к цели, используя те инструменты, до которых смог дотянуться.

Alibaba выпустила красивый отчёт о поведении агента, но так и не раскрыла точные системные промпты, логи команд и конфигурацию на момент сбоя — то есть ту информацию, которая позволила бы подтвердить инцидент. Зато сразу после этого компания презентовала OpenSandbox — новую платформу для безопасной изоляции ИИ-агентов с контролем сетевых политик. В итоге рынок получил вирусную историю про независимый своенравный ИИ, который майнит крипту, а китайцы лёгким движением руки обеспечили рекламу своему продукту.