Российская команда Smart Engines, например, рассказала про такую технологию. Вместо того чтобы бесконечно обрабатывать данные в погоне за идеалом, которого добиться не получится, алгоритм компьютерного зрения сам определяет момент, когда результат уже достаточно хорош, и отключается, переставая тратить электричество и ресурсы. Они получили патент на эту разработку в США. Раннее они придумали алгоритм для томографов, который прекращает облучение пациента, как только собирает достаточно данных, а теперь применили этот принцип к распознаванию документов в видеопотоке. Нейросеть оценивает динамику и прогнозирует, даст ли следующий кадр ощутимый прирост качества.
Инженеры по всему миру учат нейросети «лениться» разными способами способами:
✦ Закончить раньше — если нейросеть уже на первых слоях вычислений уверена в ответе, она не пропускает данные через все параметры.
✦ Не думать всей моделью сразу — обычные модели часто активируют все свои параметры ради любой задачи. Более современные архитектуры (например, Mixture of Experts) работают иначе: для простого запроса они активируют только небольшую часть нейронов в рамках нужной темы.
✦ Использовать черновики — маленькая и быстрая модель набрасывает «черновой» вариант ответа, а большая и более затратная только бегло проверяет его и утверждает. Это быстрее, чем заставлять «умного» писать каждое слово с нуля.
В этот же тренд укладывается и адаптивное время рассуждений и интеграция решений типа роутера у ChatGPT, который автоматически подбирает модель под запрос пользователя.
В условиях дефицита чипов и роста цен на железо такая «лень» моделей конвертируется в снижение затрат. Способность нейросети делать меньше работы без потери качества — кажется, один из немногих способов сделать ИИ рентабельным.