NVIDIA Cosmos3-H-Dreams: Оживлення клінічної хірургії за допомогою генеративного моделювання
Наш перший реліз Cosmos-H-Dreams, створений на основі Cosmos-Predict2.5, переніс інтерактивну генеративну симуляцію на настільне накладання швів за допомогою dVRK — фундаментальний етап перевірки для хірургічної робототехніки. Як світова базова модель (WFM), Cosmos-H-Dreams продемонструвала альтернативу чисельній симуляції: замість явного моделювання геометрії сцени, деформації тканин і фізичних взаємодій вона безпосередньо вивчала візуальну динаміку із синхронізованого відео та кінематики робота, забезпечуючи інтерактивну симуляцію настільних завдань із високим рівнем реалістичності.
Сьогодні Cosmos3-H-Dreams розвиває цю можливість, навчаючись на відеозаписах і записах кінематики робота, зроблених під час клінічних процедур на платформі CMR Surgical Versius. Наскільки нам відомо, це перший генеративний хірургічний симулятор реального часу, навчений на записах клінічної холецистектомії та здатний підтримувати керування кінематикою в реальному часі. На основі Cosmos 3 і прискорений за допомогою FlashDreams — бібліотеки NVIDIA для прискореного потокового виведення — Cosmos3-H-Dreams працює інтерактивно на одному графічному процесорі NVIDIA RTX PRO 6000.
1. Від настільних завдань до клінічних сцен
У контрольованому настільному середовищі на кшталт Cosmos-H-Dreams інструменти працюють на тлі відносно простої сцени. Однак усередині людського тіла навіть невеликі рухи інструментів можуть впливати на всю сцену: тканина розтягується під дією тяги, відблиски зміщуються, структури стають закритими, а дим змінює видимість. Отримавши початкове зображення та задані дії інструментів, генеративний симулятор має відтворювати ці реакції, зберігаючи анатомію та інструменти під час генерації кожного нового блоку відео. Невеликі помилки можуть накопичуватися з часом, поступово змінюючи геометрію інструментів або анатомічні структури, тому часова узгодженість є надзвичайно важливою.
Отже, візуальна реалістичність є лише відправною точкою для перевірки, а не доказом біомеханічної точності. Згенерована сцена також має реагувати на керування: команди переміщення, обертання та захвата повинні спричиняти узгоджені анатомічні наслідки. Правдоподібна симуляція, яка ігнорує ці команди, не може слугувати інтерактивним середовищем.
Підтримання такої точності та швидкості реагування в контурі керування в реальному часі потребує генерації з низькою затримкою. Cosmos3-H-Dreams відповідає цим вимогам завдяки моделі, спеціалізованій на клінічній холецистектомії та дистильованій для генерації в реальному часі, забезпечуючи взаємодію з урахуванням дій у сценах зі складною анатомією, рухом тканин і перекриттями.
2. Що нового в Cosmos3-H-Dreams?
2.1 Основа Cosmos 3 і багатші хірургічні засоби керування
Cosmos3-H-Dreams побудована на основі Cosmos3-H-Embodied-Nano — моделі з 16 мільярдами параметрів, попередньо навченої на Open-H-Embodiment — і спеціалізує двонапрямлену модель-учителя на відео холецистектомії та кінематичних даних, відібраних за певними критеріями. Вибір зразків орієнтований на два видимі інструменти, що перебувають у взаємодії: лівий захват Cadiere і правий монополярний гачок; команди камери обмежені, щоб зосередити увагу на взаємодії, керованій інструментами.
Модель використовує 28 вимірів дій: дані про положення та захват для обох рук, а також керування енергією, осі джойстика й кнопки джойстика. Для навчання використовуються відео роздільністю 832 x 480 із діями, вирівняними на частоті 10 Гц; ця частота дискретизації відрізняється від пропускної здатності генерації під час роботи.
2.2 Від учителя до учнів із чотирма та двома кроками
Cosmos3-H-Dreams поєднує конвеєр навчання «учитель—учень», розроблений для довгих авторегресійних розгортань, із прискореним потоковим виведенням через FlashDreams.
Спочатку ми адаптуємо двонапрямлену модель-учителя на 24 майбутніх кадрах, а потім розширюємо горизонт до 72 кадрів — 2,4 і 7,2 секунди на частоті 10 Гц. Це дає учителеві довші послідовності, на яких він може вивчати хірургічну динаміку.
Далі дистиляція перетворює двонапрямлену модель-учителя на причинну модель-учня, здатну генерувати відео короткими блоками в міру надходження нових дій. Причинне навчання з примусовим учителем готує учня до послідовної генерації з використанням записаного контексту. Потім Self-Forcing навчає його на власному згенерованому контексті під керівництвом учителя та навченого критика. Це допомагає розв’язати проблему накопичення помилок під час інтерактивних розгортань.
Перший випущений учень використовує чотири кроки знешумлення для кожного згенерованого блоку. Потім ми додатково навчаємо цього учня за двокроковим розкладом, щоб створити другу контрольну точку релізу. Двокрокова модель навчається окремо, а не є чотирикроковою моделлю, запущеною з меншою кількістю кроків семплювання.
Менша кількість кроків знешумлення забезпечує швидший час виведення ціною нижчої візуальної якості. Обидві контрольні точки дають розробникам змогу досліджувати баланс між візуальною якістю та вартістю виведення.
2.3 Потокова передача через FlashDreams
FlashDreams забезпечує прискорене потокове середовище виконання. Довгі розгортання також потребують керування історією уваги моделі. Інтеграція Cosmos3-H-Dreams використовує адаптований модуль FadeMem, який консолідує кеш ключів/значень, що зростає під час довгих розгортань. Це доповнює Self-Forcing: дистиляція визначає, як модель навчається на згенерованій історії, тоді як консолідація кешу визначає, як ця історія зберігається під час потокової генерації.
3. Дослідження небачених траєкторій
Під час клінічної процедури можуть виникнути ускладнення або хірург може мати певний простір для виконання «нових» рухів. Тому симулятор має узагальнювати за межами навчальних даних і створювати узгоджені кадри з небаченими рухами. Наведені нижче демонстрації показують, як Cosmos3-H-Dreams генерує різні сцени холецистектомії, керуючись діями інструментів, записаними за допомогою VR-гарнітури.
Два відео починаються з одного початкового кадру, але далі відтворюють різні послідовності дій, ілюструючи, як керування інструментами призводить до різних продовжень тієї самої сцени з фізично точними деформаціями тканин.
Крім того, ці розгортання дають змогу перевірити, чи відповідають інструменти командам, чи узгоджено реагують тканини на взаємодію та чи зберігаються з часом анатомічний вигляд і вигляд інструментів.
4. Адаптація до власних даних і контролера
Cosmos3-H-Dreams містить чотирикрокові та двокрокові контрольні точки для холецистектомії. Систему можна адаптувати до інших наборів даних і втілень із синхронізованим відео та сумісними представленнями дій. Щоб навчити модель-учня реального часу на власному наборі даних, ми надаємо повний рецепт донавчання моделі-учителя та дистиляції Self-Forcing у нашому покроковому посібнику. У ньому описано підготовку даних, загальнодоступні інструменти навчання учителя та етапи дистиляції. Інтеграції контролерів мають використовувати ті самі правила представлення дій і нормалізацію, що й під час навчання.
5. Що далі
Підвищення візуальної реалістичності відкриває кілька напрямів досліджень:
- Моделювати всю процедуру. Розширити охоплення та часову узгодженість, щоб усі фази холецистектомії можна було систематично досліджувати з чіткими межами завдань і критеріями успіху.
- Поєднати генеративну та чисельну симуляцію. Поєднати вивчену візуальну реалістичність із явною геометрією, контактом і механікою тканин. Чисельні моделі та виміряні дані могли б допомогти обмежити й перевірити деформацію, зробивши поведінку симуляції не лише переконливою, а й доступною для аналізу.
- Проводити оцінювання за участю хірургів. Оцінювати анатомічну точність, поведінку інструментів і реакцію тканин, перетворюючи експертний відгук на відтворювані бенчмарки.
- Підтримувати більше інструментів. Вийти за межі двох контрольованих інструментів до складнішої координації, перекриттів і взаємодій.
- Розробляти автономні хірургічні політики. Поєднати світові моделі дій із Cosmos3-H-Dreams у замкненому контурі, щоб політики могли навчатися визначених підзавдань холецистектомії.
Це напрями досліджень, а не усталені клінічні можливості. Cosmos3-H-Dreams — це дослідницький симулятор, а не валідована система для догляду за пацієнтами. Він є основою для вивчення хірургічної взаємодії в дедалі реалістичнішому середовищі.
6. Почніть сьогодні
Досліджуйте моделі, дані та середовище виконання Cosmos3-H-Dreams:
- Код і приклади Cosmos3-H-Dreams: репозиторій GitHub
- Модель Cosmos3-H-Dreams: контрольна точка Hugging Face
- Cosmos3-H-Embodied-Nano: модель Hugging Face і репозиторій GitHub
- Адаптація до власних даних: покроковий рецепт донавчання учителя та дистиляції Self-Forcing
- Open-H-Embodiment: набір даних Hugging Face
- FlashDreams: репозиторій GitHub
- NVIDIA Cosmos 3: репозиторій GitHub
Приносьте свої контролери, траєкторії та дослідницькі запитання. Ми з нетерпінням чекаємо на те, що спільнота створить у цих нових хірургічних світах.
Моделі, згадані в цій статті 2
Набори даних, згадані в цій статті 1
Спільнота
· Зареєструйтеся або увійдіть, щоб залишити коментар
Моделі, згадані в цій статті 2
Набори даних, згадані в цій статті 1
Перекладено автоматично з англійської. Оригінал статті — за посиланням нижче.