Apple взяли два источника данных: звук вокруг человека (через аудио-модель) и движения тела или устройства (акселерометр и гироскоп), обработали их небольшими специальными языковыми моделями, которые превращают сырые сигналы в текстовые описания и предварительно размечают данные. Потом большая языковая модель получает на вход уже не данные с сенсоров, а набор готовых подсказок, по ним угадывая, чем человек занят: готовит, стирает, играет в футбол, сидит за компьютером, смотрит телевизор.
Осталось всё это интегрировать в продукт. И очень удачно, что у Apple есть не только телефоны, но и наушники с микрофоном, часы с кучей датчиков, а ещё замкнутая экосистема, благодаря которой люди пользуются именно продуктами этой компании. Поэтому Apple без особых усилий может собирать и склеивать информацию с разных устройств, получая подробную картину того, что человек делает в течение дня. Даже если он просто использует связку из упомянутых наушников с часами.
Это можно использовать для самых разных сценариев. Можно улучшить продукт, умнее показывать уведомления, менять громкость, режимы тренировок в зависимости от контекста. Или можно лучше понимать рутину, время приёмов пищи, занятий спортом, просмотра телевизора и так далее, и по этим паттернам продавать более нативную рекламу.
Понятно, что данные — это всего лишь данные, и мы ими делимся постоянно. А если уж не хочется делиться тем, что может быть использовано для обучения нейросетей или таргетинга, наверное стоит либо отказаться от всех умных устройств, либо отказаться от возможности говорить и вообще транслировать собственное мнение. Ведь как известно, всё, что сказано, может быть использовано против вас. Но тенденция всё равно настораживающая — ведь чем точнее компания понимает, что ты делаешь прямо сейчас, тем меньше шансов остаться «просто пользователем», а не объектом агрессивной гипер-адресной монетизации.