Отцы-основатели ИИ

Anthropic решили поиграть в отцов-основателей. Только вместо Филадельфии 1787 года у них Сан-Франциско 2026-го, а вместо прав человека — права и обязанности нейросети. Они выкатили 84-страничную «Конституцию» Claude. В компании уверяют, что это не просто брошюрка для инвесторов, а инструмент настройки алгоритма. Anthropic пытаются уйти от ручной разметки данных и внедрить систему, где ИИ сам оценивает свои ответы через призму прописанных ценностей.

Anthropic давно и последовательно пытаются продавать безопасность и предсказуемость своего ИИ, в отличие от более либеральных конкурентов вроде xAI. В этом разрезе публикация «Конституции» — отличный способ пустить пыль в глаза бизнесу и регуляторам, что у них в основе модели не просто какой-то там чёрный ящик, а чёрный ящик с понятными заложенными ценностями: заботой о безопасности компании, этикой, и только потом полезностью для юзера. Мол, если вам нейросеть не ответила, не обессудьте.

При этом для реального бизнеса, который запускает ИИ в своём закрытом контуре, вся эта может оказаться не слишком полезно. Компании обычно используют собственные системные инструкции для модели, которые перекрывают или дополняют дефолтные настройки. Тем более что им нужен инструмент, который выполняет задачи, а не рефлексирует о своём «благополучии» или «экзистенциальных открытиях», как того требует этот документ. Возникает резонный вопрос: насколько сильно эта конституция будет помогать в развитии ИИ именно как инструмента?

Выглядит как очень странная попытка натянуть человеческую мораль на математическую функцию. Любой алгоритм при должном старании можно взломать (для этого существует джейлбрейк), и никакие прописанные на 84 страницы принципы тут не спасут. Разработчики сами признают, что обучение модели — дело трудное, поэтому их Claude не всегда будет соответствовать задуманному идеалу. Но Конституция есть. А отцы-основатели могут собой гордиться.

//Илья Власов