NVIDIA Cosmos3-H-Dreams: Оживяване на клиничната хирургия чрез генеративна симулация
Първото ни издание Cosmos-H-Dreams, изградено върху Cosmos-Predict2.5, пренесе интерактивната генеративна симулация към настолното зашиване с dVRK — основна изпитателна среда за хирургична роботика. Като фундаментален модел на света (WFM), Cosmos-H-Dreams демонстрира алтернатива на числената симулация: вместо изрично да моделира геометрията на сцената, деформацията на тъканите и физическите взаимодействия, той научи визуалната динамика директно от синхронизирано видео и кинематиката на робота, осигурявайки интерактивна симулация на настолни задачи с висока реалистичност.
Днес Cosmos3-H-Dreams развива тази възможност, като се обучава с видеозаписи и записи на кинематиката на робота по време на клинични процедури на платформата Versius на CMR Surgical. Доколкото ни е известно, това е първият генеративен хирургичен симулатор в реално време, обучен с клинични записи на холецистектомии и поддържащ управление чрез кинематика на живо. Захранван от Cosmos 3 и ускорен с FlashDreams — библиотеката на NVIDIA за ускорено поточно извеждане — Cosmos3-H-Dreams работи интерактивно на един графичен процесор NVIDIA RTX PRO 6000.
1. От настолни задачи към клинични сцени
В контролирана настолна среда като тази на Cosmos-H-Dreams инструментите работят на фона на сравнително прост декор. В човешкото тяло обаче малките движения на инструментите могат да повлияят на цялата сцена: тъканите се разтягат при тракция, отраженията се променят, структурите се закриват, а димът променя видимостта. При зададени начално изображение и действия на инструментите генеративният симулатор трябва да улавя тези реакции, като същевременно запазва анатомията и инструментите, докато генерира всеки нов блок от видеото. Малките грешки могат да се натрупват с времето, постепенно променяйки геометрията на инструментите или анатомичната структура, което прави времевата последователност от съществено значение.
Затова визуалният реализъм е отправна точка за валидиране, а не доказателство за биомеханична точност. Генерираната сцена трябва също да следва управлението: командите за преместване, завъртане и захващане трябва да водят до съгласувани анатомични последствия. Правдоподобна симулация, която пренебрегва тези команди, не може да служи като интерактивна среда.
Поддържането на тази прецизност и отзивчивост в контур за управление на живо изисква генериране с ниска латентност. Cosmos3-H-Dreams адресира тази среда чрез модел, специализиран за клинична холецистектомия и дестилиран за генериране в реално време, като въвежда взаимодействие, обусловено от действия, в сцени със сложна анатомия, движение на тъканите и закриване.
2. Какво е новото в Cosmos3-H-Dreams?
2.1 Основа от Cosmos 3 и по-богати хирургични управления
Cosmos3-H-Dreams е изграден върху Cosmos3-H-Embodied-Nano — модел с 16 милиарда параметъра, предварително обучен върху Open-H-Embodiment — и специализира двупосочен учител върху подбрани видеозаписи и кинематика от холецистектомии. Подборът на примери се фокусира върху два видими и ангажирани инструмента — ляв грайфер Cadiere и десен монополярен кука — и ограничава командите за камерата, за да подчертае взаимодействието, задвижвано от инструментите.
Моделът използва 28 измерения на действията: информация за позата и грайфера на двете рамена, както и управления на енергията, оси на джойстика и бутони на джойстика. Обучението използва видео с размер 832 x 480, като действията са подравнени на честота 10 Hz; тази честота се различава от пропускателната способност на генерирането по време на изпълнение.
2.2 От учител към ученици с четири и две стъпки
Cosmos3-H-Dreams комбинира конвейер за обучение от учител към ученик, проектиран за дълги авторегресивни симулации, с ускорено поточно извеждане чрез FlashDreams.
Първо адаптираме двупосочния учител върху 24 бъдещи кадъра, след което разширяваме хоризонта до 72 кадъра — 2,4 и 7,2 секунди при 10 Hz. Това предоставя на учителя по-дълги последователности, върху които да изучава хирургичната динамика.
След това дестилацията превръща двупосочния учител в причинен ученик, който може да генерира видео на кратки блокове, докато пристигат нови действия. Причинното налагане от страна на учителя подготвя ученика за последователно генериране чрез записан контекст. След това Self-Forcing го обучава със собствено генериран контекст, насочван от учителя и обучен критик. Това помага за справяне с натрупването на грешки по време на интерактивни симулации.
Първият публикуван ученик използва четири стъпки на обезшумяване за всеки генериран блок. След това обучаваме допълнително този ученик с двустъпков график, за да произведем втората контролна точка на изданието. Двустъпковият модел се обучава отделно, а не представлява просто четиристъпковият модел, изпълнен с по-малко стъпки за семплиране.
По-малкият брой стъпки на обезшумяване води до по-бързо извеждане за сметка на по-ниско визуално качество. И двете контролни точки позволяват на разработчиците да изследват баланса между визуално качество и цена на извеждането.
2.3 Поточно извеждане чрез FlashDreams
FlashDreams осигурява ускорената среда за поточно извеждане. Дългите симулации също изискват управление на историята на вниманието на модела. Интеграцията на Cosmos3-H-Dreams използва адаптиран модул FadeMem, който консолидира нарастващия кеш ключ/стойност по време на дълги симулации. Това допълва Self-Forcing: дестилацията адресира начина, по който моделът се учи от генерираната от него история, докато консолидацията на кеша адресира начина, по който тази история се съхранява по време на поточното генериране.
3. Изследване на невиждани траектории
По време на клинична процедура могат да възникнат усложнения или да има известна свобода хирургът да извърши „нови“ движения. Следователно симулаторът трябва да може да обобщава отвъд данните за обучение и да генерира съгласувани кадри с невиждани движения. Демонстрациите по-долу показват как Cosmos3-H-Dreams генерира различни сцени на холецистектомия, обусловени от действия на инструментите, записани с VR слушалки.
Двете видеа започват от един и същ начален кадър, но следват различни последователности от действия, илюстрирайки как управлението на инструментите води до различни продължения на една и съща сцена с физически точни деформации на тъканите.
Освен това тези симулации ни позволяват да проверим дали инструментите следват командите, дали тъканите реагират съгласувано на взаимодействието и дали анатомичният вид и видът на инструментите остават последователни във времето.
4. Адаптиране към собствените ви данни и контролер
Cosmos3-H-Dreams включва четиристъпкови и двустъпкови контролни точки за холецистектомия. Системата може да бъде адаптирана към други набори от данни и въплъщения със синхронизирано видео и съвместими представяния на действията. За да обучите ученически модел в реално време върху собствения си набор от данни, предоставяме пълна рецепта за фино настройване на учителя и дестилация чрез Self-Forcing в нашето подробно ръководство стъпка по стъпка. То описва подготовката на данните, публичните инструменти за обучение на учителя и етапите на дестилация. Интеграциите на контролера трябва да използват същите конвенции за действията и нормализация, както при обучението.
5. Какво следва
Напредъкът във визуалния реализъм открива няколко направления за изследвания:
- Моделиране на цялата процедура. Разширяване на обхвата и времевата последователност, така че всички фази на холецистектомията да могат да бъдат изследвани систематично, с ясни граници на задачите и критерии за успех.
- Свързване на генеративната и числената симулация. Комбиниране на научения визуален реализъм с изрична геометрия, контакт и механика на тъканите. Числените модели и измерените данни могат да помогнат за ограничаване и валидиране на деформациите, правейки поведението на симулацията не само убедително, но и подлежащо на проверка.
- Оценяване с хирурзи. Оценяване на анатомичната точност, поведението на инструментите и реакцията на тъканите, превръщайки експертната обратна връзка във възпроизводими бенчмаркове.
- Поддръжка на повече инструменти. Преминаване отвъд два контролирани инструмента към по-богата координация, закриване и взаимодействие.
- Разработване на автономни хирургични политики. Свързване на световни модели на действията с Cosmos3-H-Dreams в затворен контур, така че политиките да могат да изучават определени подзадачи на холецистектомията.
Това са направления за изследвания, а не утвърдени клинични възможности. Cosmos3-H-Dreams е изследователски симулатор, а не валидирана система за грижа за пациенти. Той предлага основа за изучаване на хирургичното взаимодействие във все по-реалистична среда.
6. Започнете още днес
Разгледайте моделите, данните и средата за изпълнение зад Cosmos3-H-Dreams:
- Код и примери за Cosmos3-H-Dreams: хранилище в GitHub
- Модел Cosmos3-H-Dreams: контролна точка в Hugging Face
- Cosmos3-H-Embodied-Nano: модел в Hugging Face и хранилище в GitHub
- Адаптиране към собствените ви данни: рецепта стъпка по стъпка за фино настройване на учителя и дестилация чрез self-forcing
- Open-H-Embodiment: набор от данни в Hugging Face
- FlashDreams: хранилище в GitHub
- NVIDIA Cosmos 3: хранилище в GitHub
Донесете своите контролери, траектории и изследователски въпроси. Очакваме с интерес да видим какво ще създаде общността в тези нови хирургични светове.
Модели, споменати в тази статия 2
Набори от данни, споменати в тази статия 1
Общност
· Регистрирайте се или влезте, за да коментирате
Модели, споменати в тази статия 2
Набори от данни, споменати в тази статия 1
Преведено автоматично от английски. Оригиналната статия е на връзката по-долу.