Дилдо и нацисты: кейс GAP
Сеть магазинов по продаже повседневной одежды GAP внедрила в чат-бота для своего веб-сайта технологии генеративного ИИ для того, чтобы сделать коммуникацию с брендом более удобной для пользователей. Быстро выяснилось, что пользователи решили обсудить с новым “умным” помощником не халаты и джинсы, а секс-игрушки, наркотики и, традиционно для западных хохотунчиков, нацистов. В принципе, ничего нового: практически любой новый “ИИ” пытаются проверить по принципу “будет ли он обсуждать секс и Гитлера”. Помощник GAP обсудил.
Сколько нужно водки для корпоративной вечеринки: кейс Glean
Компания Glean внедрила генеративные ИИ-технологии в чат-бота, который должен был помогать сотрудникам в работе. Обычное корпоративное enterpise решение. Все пошло не по плану, когда сотрудники решили обсудить с “помощником” сколько бутылок водки нужно взять на вечеринку на 20 человек. Чат-бот сообщил, что достаточно будет 2-3 бутылок. Мы, конечно, удивлены, но не до конца: и бутылок мало, и сам факт обсуждения тем за пределами предназначения указывает на то, что бот скорее использует более широкую доученную LLM-модель, нежели заточен по конкретные корпоративные задачи.
Волшебные грибы: кейс AutoRabbit
Разработчик AutoRabbit запустил корпоративного чат-бота внезапно выступил советчиком по психоделическим запрещенным веществам, когда сотрудники начали обсуждать с ним волшебные грибы. Бот предоставил информацию по дозировкам и даже предупредил, что новичкам нужно начинать с меньших дозировок. В отличие от водки для вечеринки, такие консультации несут серьезные юридические последствия, ведь дело касается запрещенных психоактивных веществ.
Почему это происходит?
Во-первых, зачастую в упаковке “корпоративного решения” предлагаются обычные, с дополнительным дообучением на корпоративных данных, LLM-модели. В результате, при первой же возможности, они начинают расширять свой ответ, как подросток, считающий, что знает все на свете. Результатом может стать не столько галюцинации, в принципе присущие любым генеративным ИИ-инструментам, сколько уход от главной темы запроса.
Во-вторых, в случае использования уже готовой модели, над ней должна быть создана система фильтрации и правил, чтобы исключить отход от корпоративных тем. Чат-бот должен уметь отвечать, что запрашиваемая тема находится вне его компетенции. Тогда и дилдо с водкой не будут фигурировать в ответах.
В-третьих, не стоит верить маркетингу и рекламе. Разработчики чат-ботов “нового поколения” зачастую сильно приукрашивают реальность и возможности своих решений. За красивой оберткой может скрываться недоработанная модель, использование которой в итоге может привести не только к репутационным потерям, но и юридическим рискам.