Google Research представила GlucoFM: двопотокову фундаментальну модель із 0,72 млн параметрів для безперервного моніторингу глюкози

Google Research і UNSW Sydney представили GlucoFM — самообучувану базову модель для безперервного моніторингу глюкози. Її ключовий підхід полягає в розділенні. Наявні моделі CGM — CGMformer, GluFormer, CGM-JEPA — кодують графік рівня глюкози як одну взаємопов’язану послідовність. GlucoFM розкладає його на повільний потік фізіологічного «стану» та потік короткочасних «подій», зберігає маску спостережень і проводить попереднє навчання за допомогою двох латентних цілей у стилі JEPA. У результаті отримано енкодер із 0,72 млн параметрів, який досяг середнього PR-AUC 58,8 за 14 оцінюваннями «когорта–завдання», тоді як найсильніший спеціалізований базовий показник CGM, перенавчений на тому самому корпусі, становив 54,7. Модель попередньо навчали на 109 066 годинах немаркованих даних CGM від 477 учасників на одному H100.

Чи придатна вона до розгортання?

Як дослідницька інфраструктура — так. Як клінічний або споживчий продукт — поки що ні.

Дослідницька команда прямо зазначає: GlucoFM є дослідницьким прототипом, не пройшла допуску чи схвалення жодного регуляторного органу та не призначена для діагностики, лікування, виліковування або запобігання захворюванням. Усі оцінювання є ретроспективними, найбільша когорта для попереднього навчання не є публічною, а станом на 26 серпня 2026 року жоден чекпойнт не був опублікований — у статті є зобов’язання випустити код і скрипти для відтворення результатів.

Сьогодні можна застосувати саму методику. За 0,72 млн параметрів, що навчаються, і 120 епох на одному NVIDIA H100 будь-яка команда, яка має корпус даних CGM, може її відтворити, а висновування для 24-годинного вікна працює в контейнері на CPU або безпосередньо на пристрої.

Проблема розгляду CGM як одного сигналу

Наявні базові моделі CGM, такі як CGMformer, GluFormer і CGM-JEPA, кодують графік рівня глюкози як одну взаємопов’язану послідовність. Але CGM одночасно містить дві складові: повільну регуляторну базову лінію та короткочасні відхилення, спричинені їжею, фізичною активністю, стресом або артефактами сенсора. Клінічні мітки також є дорогими та специфічними для кожної когорти, що обмежує навчання з учителем.

Архітектура

GlucoFM вирівнює кожен запис за фіксованою 24-годинною сіткою з Δt = 5 хвилин, що дає L = 288 позицій, і зберігає абсолютний індекс початку циркадного циклу. Маска спостережень M зберігається на всіх етапах — пропущені позиції заповнюються лише для побудови тензора й ніколи не враховуються як вимірювання. Абляційне дослідження показує, що щільна інтерполяція поступається цьому стандартному підходу з урахуванням маски.

Навчуваний каузальний фільтр Гауса з урахуванням маски розділяє сигнал: відфільтрований тренд стає потоком стану, а залишок із застосованою маскою — потоком подій. Ширина смуги σ є навчуваною в межах 2–12 кроків сітки, тобто приблизно 10–60 хвилин, із початковим значенням 6,0. Одностороннє ядро забезпечує каузальність, тому майбутні значення глюкози не потрапляють до поточної оцінки стану.

Обидва потоки токенізуються у 24 одногодинні патчі, об’єднуються в токени розмірністю 128 і доповнюються циклічними ознаками часу доби. Попереднє навчання використовує дві цілі в стилі JEPA: масковане контекстне латентне передбачення для 50–60% патчів відносно вчителя EMA (m = 0,997) і передбачення динаміки стану/подій наступного патчу за допомогою залишкових перехідних голів. Аугментації з урахуванням специфіки CGM додають дрейф базової лінії, провали, подібні до ефектів стиснення, децимацію до 15-хвилинного дискретизування та блоки від’єднання.

Енкодер — це 3-шаровий Transformer із прихованою розмірністю 128, 4 головами та прямим проходом розмірністю 256 — 0,72 млн параметрів, що навчаються, і 1,18 млн параметрів загалом. Попереднє навчання проводилося на 109 066 годинах немаркованих даних CGM від 477 учасників із наборів Wear-CGM, ShanghaiT2DM, Stanford, BIG IDEAs і Colas. <!– ТУТ МАЄ БУТИ ВБУДОВАНО ІНТЕРАКТИВНЕ ПОЯСНЕННЯ –>

Результати

За предметно-розділеного лінійного зондування для чотирьох когорт і семи завдань (14 оцінювань «когорта–завдання») GlucoFM досягла середнього PR-AUC 58,8 проти 54,7 у найсильнішої спеціалізованої базової моделі CGM, перенавченої на тому самому корпусі, — приріст на 4,1 пункту, або приблизно 7,5% у відносному вираженні, — і на 5,8 пункту перевищила найкращий варіант GluFormer. Модель показала найкращий PR-AUC у кожному оцінюванні ризику діабету та дисфункції бета-клітин, а також у 3 з 4 оцінювань інсулінорезистентності, і посіла перше місце у 21 з 24 оцінювань перенесення між наборами даних.

Під час прогнозування глікемічної відповіді через дві години після їжі модель досягла MAE 21,88 мг/дл за повного контексту проти 22,90 у найкращої базової моделі та 27,69 у середнього значення навчальної вибірки, використавши 874 прийоми їжі від 34 учасників із сенсорами Dexcom і Libre. Вона також перевершила правило порогового значення GMI за сім днів за макро-F1 на 7,4 пункту на Stanford і на 17,4 пункту на CGMacros-Dexcom. Навчена на 20% корпусу, вона вже зрівнялася з базовими моделями CGM, навченими на всьому корпусі.

Ключові висновки

• GlucoFM розділяє CGM на повільний потік «стану» та потік короткочасних «подій» замість однієї взаємопов’язаної послідовності.
• 0,72 млн параметрів, що навчаються, забезпечили кращий результат, ніж 135-мільйонна GluFormer і 385-мільйонна MOMENT, за середнім PR-AUC для завдань.
• 58,8 проти 54,7 PR-AUC у порівнянні з найкращою базовою моделлю CGM, навченою на тому самому корпусі, за 14 оцінюваннями «когорта–завдання».
• Найбільші покращення спостерігаються у завданнях, пов’язаних із ризиком діабету, дисфункцією бета-клітин та інсулінорезистентністю — клінічно ключових напрямках.
• Це дослідницький прототип, який не має регуляторного схвалення, а публічного чекпойнта поки що немає.

---

Ознайомтеся зі статтею та технічними деталями. Також підписуйтеся на нас у Twitter і не забудьте приєднатися до нашого сабреддіту ML із понад 150 тисячами учасників та підписатися на нашу розсилку. Стривайте! Ви є в Telegram? Тепер ви також можете приєднатися до нас у Telegram.

Потрібно співпрацювати з нами для просування вашого репозиторію GitHub, сторінки Hugging Face, випуску продукту, вебінару тощо? Зв’яжіться з нами