ИИ-функции Apple Watch для повторного прослушивания и краткого пересказа разговоров начинают тестировать в бета-версии

Технология Apple «Audio Intelligence» на базе ИИ для Apple Watch теперь проходит бета-тестирование — первоначально для разработчиков в обновлении iOS 27.3 — после того, как впервые была представлена компанией на аппаратном мероприятии Surprise and Shine в сентябре. Технология включает набор из четырех опциональных функций на базе ИИ, которые позволяют владельцам Apple Watch Series 12 распознавать важные звуки, определять песни, наверстывать пропущенное в разговорах и делать заметки.

Функция распознавания звуков поможет глухим и слабослышащим пользователям определять важные звуки — например, сирены, сигналы тревоги или дверные звонки — с помощью часов, а функция распознавания песен использует приложение Apple Shazam, чтобы обнаруживать музыку, играющую в фоновом режиме, и определять название песни и исполнителя.

Однако потенциально более спорными являются функции, которые слушают человеческие разговоры: Live Rewind и Siri Recaps.

После негативной реакции на устройства с функциями записи на базе ИИ, такие как умные очки Meta и другие носимые устройства с ИИ, Apple попыталась найти нишу, в которой эти функции были бы полезны владельцам Apple Watch и при этом уважали бы конфиденциальность окружающих.

Идея Live Rewind заключается в том, чтобы дать вам возможность вернуться назад во времени и посмотреть, что только что сказал собеседник, если вы не расслышали. Например, если кто-то объяснял вам маршрут или зачитывал длинный список специальных предложений в ресторане, вы могли бы дважды нажать на цифровую коронку Watch и увидеть сказанное за последние 15 секунд в виде текстового фрагмента на циферблате. Вы можете просмотреть этот фрагмент и ничего больше не делать — тогда он навсегда исчезнет. Либо его можно сохранить в отдельном приложении Siri, появившемся в iOS 27, чтобы обратиться к нему позже. Это может быть полезно, если вы пытаетесь запомнить чье-то имя или быстро записать информацию во время динамичной презентации.

Apple утверждает, что пользователи также смогут нажать на опцию «Спросить Siri», которая появляется под текстовым фрагментом, если у них есть вопросы по поводу сказанного — например, о непонятном техническом термине или, возможно, о соусе, который упомянул официант и с которым они не знакомы, и в других подобных случаях.

При двойном нажатии на цифровую коронку раздается звуковой сигнал, а на часах появляется анимация. Это должно дать окружающим понять — благодаря сочетанию жеста, звука и визуального отображения, — что вы записали сказанное.

Если не сохранить эти фрагменты, они автоматически удаляются через 30 секунд.

Другая функция, Siri Recaps, развивает технологию фонового прослушивания еще дальше, позволяя владельцам Apple Watch делать краткие заметки по итогам разговоров.

Важно отметить, что, по словам Apple, функция не определяет говорящих, не сохраняет исходное аудио и не предоставляет дословные расшифровки. Вместо этого она обобщает разговор в виде короткого предложения и нескольких пунктов, отражающих ключевые моменты. В зависимости от темы в пунктах могут быть указаны, например, важные даты или крайние сроки, сведения о ценах или планах оплаты и другая фактическая информация.

Apple предположила, что эту функцию можно использовать во время рабочих совещаний, родительских собраний, персональных тренировок и в других ситуациях, когда нужно запомнить задачи, которые предстоит выполнить, или содержание разговора. По сути, она должна имитировать способность пользователя делать собственные записи — без добавления эмоций или интонации.

Это может быть особенно полезно в ситуациях, когда вы не можете делать заметки самостоятельно: например, если ваши руки заняты или вы пытаетесь сосредоточиться на происходящем. Recaps не записывает разговоры, когда вы слушаете музыку в наушниках или используете функции шумоподавления.

В конце дня при включенной функции вам предложат просмотреть сохраненные Siri Recaps и выбрать, какие из них, если таковые будут, сохранить. Эти заметки можно сохранить в приложении «Заметки» или даже экспортировать в приложение «Дневник», если они носят более личный характер. Если ничего не делать, recaps удалятся автоматически в течение семи дней.

Напоминание о необходимости просмотреть записанные Siri Recaps также появляется при первой разблокировке Apple Watch утром.

Пользователи могут включить Siri Recaps вручную или настроить расписание — например, чтобы функция работала только на работе или никогда не запускалась ночью. Даже если функция работает по расписанию, ее можно в любой момент отключить через Центр управления.

Apple отмечает, что Siri Recaps разработана таким образом, чтобы исключать конфиденциальную информацию, например идентификаторы, присвоенные государственными органами, финансовые данные и данные для аутентификации, некоторые персональные идентификаторы, а также любые формулировки, способствующие причинению вреда себе.

Функции Audio Intelligence для Apple Watch Series 12 и Apple Watch Ultra 4 используют сочетание аппаратного и программного обеспечения Apple, а также ее сервисов. Сюда входят чип S11, встроенный микрофон и модели Apple Intelligence, работающие на iPhone, а также Private Cloud Compute от Apple.

Всегда включенный процессор содержит защищенный анклав — защищенную аппаратными средствами область памяти, недоступную остальной операционной системе, — где специальный аудиобуфер обрабатывает исходный звук. Благодаря этому аудио можно обрабатывать, не делая его доступным кому-либо, включая Apple. Доступ к аудио получает только сопряженный iPhone через защищенный механизм сопряжения между телефоном и часами.

Для работы легковесные модели ИИ на чипе S11 в Apple Watch определяют, происходит ли разговор с участием владельца часов, после чего данные передаются в защищенный анклав на iPhone. Обработка на устройстве в iPhone превращает аудио в сжатый текст — текст разговора с удаленными словами-паразитами. Затем этот сжатый текст шифруется и отправляется в Private Cloud Compute (PCC) Apple для создания краткого содержания разговора, которое возвращается на телефон. (Краткое содержание и любые сводки, использованные для его создания, сразу после этого удаляются из PCC.)

Получить доступ к сводкам на iPhone можете только вы, но не Apple. При синхронизации между несколькими устройствами Apple они шифруются.

Аналогичным образом Apple Watch передает аудио на iPhone для обработки и создания 15-секундных фрагментов Live Rewind.

Apple утверждает, что ни одна из этих функций не должна влиять на время автономной работы часов или телефона. Позже функции станут доступны в публичной бета-версии для более широкого тестирования, а затем будут публично выпущены для всех.