Функції Apple Watch на основі ШІ для повторного прослуховування та підсумовування розмов починають бета-тестування

Технологія Apple на основі ШІ «Audio Intelligence» для Apple Watch тепер проходить бета-тестування, спочатку для розробників в оновленні iOS 27.3, після того як її вперше представили на апаратному заході компанії Surprise and Shine у вересні. Технологія включає набір із чотирьох опційних функцій ШІ, які дають змогу власникам Apple Watch Series 12 виявляти важливі звуки, розпізнавати пісні, надолужувати пропущене в розмовах і робити нотатки.

Функція розпізнавання звуків допоможе глухим і людям із вадами слуху визначати за допомогою годинника важливі звуки, як-от сирени, сигнали тривоги або дверні дзвінки, тоді як функція розпізнавання пісень використовує застосунок Apple Shazam для виявлення музики, що грає у фоновому режимі, і визначення назви пісні та виконавця.

Однак найбільш потенційно суперечливими є функції, які прослуховують людські розмови: Live Rewind і Siri Recaps.

Зважаючи на негативну реакцію на пристрої для запису зі ШІ, як-от окуляри Meta зі ШІ та інші носимі пристрої зі ШІ, Apple намагається створити простір, у якому ці функції можуть бути корисними для власників Apple Watch, водночас поважаючи приватність людей навколо них.

Ідея Live Rewind полягає в тому, щоб дати вам змогу повернутися в часі й переглянути, що щойно сказала людина, якщо ви це пропустили. Наприклад, якщо хтось усно пояснював вам дорогу або зачитував довгий список спеціальних пропозицій у ресторані, ви могли б двічі натиснути на цифрову коронку годинника, щоб побачити, що було сказано за останні 15 секунд, у вигляді текстового фрагмента на циферблаті. Ви можете просто переглянути цей фрагмент і нічого більше не робити — тоді він назавжди зникне. Або ж можете зберегти його в окремому застосунку Siri, який з’явився в iOS 27, щоб отримати доступ до нього пізніше. Це може бути корисним, якщо ви намагаєтеся запам’ятати чиєсь ім’я або швидко занотувати щось із динамічної презентації.

Apple заявляє, що користувачі також зможуть натиснути опцію «Запитати Siri», яка з’являється під текстовим фрагментом, якщо в них виникли запитання щодо сказаного — наприклад, щодо технічного терміна, якого вони не розуміють, або, можливо, певного соусу, згаданого офіціантом, про який вони нічого не знають, та іншого.

Коли ви двічі натискаєте цифрову коронку, лунає звуковий сигнал і на годиннику з’являється анімація. Це має повідомити людей за допомогою поєднання жесту, звуку та візуального відображення про те, що ви записали сказане.

Якщо ви не збережете ці фрагменти, їх буде автоматично видалено через 30 секунд.

Інша опція, Siri Recaps, іще більше розширює цю технологію фонового прослуховування, даючи власникам Apple Watch змогу робити узагальнені нотатки своїх розмов.

Важливо, що Apple стверджує: функція не ідентифікує мовців, не зберігає необроблений звук і не надає дослівних транскрипцій. Натомість вона підсумовує розмову коротким реченням і кількома пунктами, що визначають основні моменти. Наприклад, залежно від теми, ці пункти можуть містити важливі дати або кінцеві терміни, інформацію про ціни чи план оплати та інші фактичні дані.

Apple припустила, що функцію можна використовувати під час робочих зустрічей, батьківських зборів, тренувань або в інших ситуаціях, коли вам потрібно запам’ятати завдання, які слід виконати, чи сказане. По суті, вона має імітувати здатність користувача робити власні нотатки — без додавання емоцій чи інтонації.

Це може бути особливо корисним у моменти, коли ви не можете зробити власні нотатки — наприклад, тому що ваші руки зайняті або ви намагаєтеся зосередитися на тому, що саме зараз говорять. Recaps не записуватиме розмови, коли ви слухаєте музику в навушниках або використовуєте функції шумозаглушення.

Наприкінці дня, якщо функцію ввімкнено, вам буде запропоновано переглянути збережені Siri Recaps, а потім вибрати, які з них, якщо такі є, ви хочете зберегти. Ці нотатки можна зберегти в застосунку «Нотатки» або навіть експортувати в застосунок «Щоденник», якщо вони мають більш особистий характер. Якщо нічого не робити, recaps буде видалено автоматично протягом семи днів.

Це нагадування про необхідність переглянути записані Siri Recaps також з’являється під час першого ранкового розблокування Apple Watch.

Користувачі можуть увімкнути Siri Recaps вручну або налаштувати розклад — наприклад, щоб підсумовування відбувалося лише на роботі або щоб воно ніколи не працювало вночі. Навіть якщо функція працює за розкладом, її можна будь-коли вимкнути в Центрі керування.

Apple зазначає, що Siri Recaps розроблено так, щоб вилучати конфіденційну інформацію, як-от видані державою ідентифікатори, фінансові дані й дані автентифікації, певні персональні ідентифікатори, а також будь-які висловлювання, що заохочують до самоушкодження.

Функції Audio Intelligence для Apple Watch Series 12 і Apple Watch Ultra 4 використовують поєднання апаратного та програмного забезпечення Apple, а також її сервісів. Сюди входять чип S11, вбудований мікрофон і моделі Apple Intelligence, що працюють на iPhone, а також Private Cloud Compute від Apple.

Процесор, який працює постійно, містить захищений анклав — апаратно захищену область пам’яті, недоступну для решти операційної системи, — де спеціальний аудіобуфер обробляє необроблений звук. Це дає змогу обробляти аудіо без фактичного доступу до нього будь-кого, зокрема Apple. Доступ до аудіо має лише підключений iPhone завдяки захищеному механізму сполучення між ним і годинником.

Для роботи полегшені моделі ШІ на чипі S11 в Apple Watch визначають, чи відбувається розмова, учасником якої є власник годинника, після чого передають дані до захищеного анклаву на iPhone. Обробка на пристрої в iPhone перетворює аудіо на скорочений текст, тобто текст розмови без слів-паразитів. Потім цей скорочений текст шифрується і надсилається до Private Cloud Compute (PCC) від Apple для створення підсумку розмови, який повертається на телефон. (Підсумок і будь-які узагальнення, використані для його створення, одразу після цього видаляються з PCC).

Підсумки, до яких ви потім можете отримати доступ на iPhone, доступні лише вам, а не Apple. Під час синхронізації між кількома вашими пристроями Apple вони також шифруються.

Так само Apple Watch передає аудіо на iPhone для обробки й створення 15-секундних фрагментів для Live Rewind.

Apple заявляє, що жодна з цих функцій не має впливати на час роботи акумулятора годинника чи телефона. Згодом функції стануть доступними в публічній бета-версії для ширшого тестування, перш ніж їх відкриють для всіх користувачів.