Google наглядно показал, почему ИИ нельзя подпускать к пациентам

Пока OpenAI строит «цифровой изолятор» для медицинских данных пользователей, Google побежали впереди паровоза и пустили ИИ в поисковую выдачу на медицинскую тематику. Результатом, ожидаемо, стало фиаско. Коллеги из The Guardian обнаружили, что AI Overviews рекомендовали онкобольным смертельно опасную жирную диету, а пациентам с больной печенью сообщали, что их плохие анализы в норме.

Google сейчас занимается подтиранием заметанием следов — точечно вычищает из выдачи скомпрометированные запросы, но прецедент уже создан. Корпорация наглядно показала, почему Сэм Альтман так старательно изолирует свой медицинский ИИ и перенаправляет пользователей с подобным запросами в отдельное пространство.

Правда, проблему в основе обоих продуктов это не решает. Генеративный ИИ в текущем виде не годится на роль врача. Проблема даже не конкретно в медицине, бредовые ответы он способен давать на любую тему, просто медицина, по понятным причинам, очень чувствительная сфера. Медицинский ИИ в ближайшие годы будет развиваться либо в жестких рамках под наблюдением живых людей (как ассистент врача, например), либо через череду публичных скандалов и судебных запретов.