NVIDIA Cosmos3-H-Dreams: Воплощение клинической хирургии в жизнь с помощью генеративного моделирования
Наш первый релиз Cosmos-H-Dreams, созданный на базе Cosmos-Predict2.5, перенёс интерактивное генеративное моделирование на настольное наложение швов dVRK — фундаментальную испытательную среду для хирургической робототехники. Как мировая базовая модель (WFM), Cosmos-H-Dreams продемонстрировала альтернативу численному моделированию: вместо явного моделирования геометрии сцены, деформации тканей и физических взаимодействий она напрямую обучалась визуальной динамике на основе синхронизированных видео и кинематики робота, обеспечивая интерактивное моделирование настольных задач с высокой реалистичностью.
Сегодня Cosmos3-H-Dreams развивает эту возможность, обучаясь на видеозаписях и данных кинематики робота, собранных во время клинических процедур на платформе CMR Surgical Versius. Насколько нам известно, это первый генеративный хирургический симулятор реального времени, обученный на записях клинических холецистэктомий и поддерживающий управление кинематикой в реальном времени. Работая на базе Cosmos 3 и ускоряясь с помощью FlashDreams — библиотеки NVIDIA для ускоренного потокового вывода, — Cosmos3-H-Dreams интерактивно запускается на одном графическом процессоре NVIDIA RTX PRO 6000.
1. От настольных задач к клиническим сценам
В контролируемой настольной среде, подобной Cosmos-H-Dreams, инструменты работают на фоне относительно простой сцены. Однако внутри человеческого тела даже небольшие движения инструмента могут влиять на всю сцену: ткань растягивается под воздействием тяги, отражения смещаются, структуры перекрываются, а дым изменяет видимость. Получив исходное изображение и заданные действия инструментов, генеративный симулятор должен фиксировать эти реакции, сохраняя анатомию и инструменты при генерации каждого нового блока видео. Небольшие ошибки могут накапливаться со временем, постепенно изменяя геометрию инструментов или анатомические структуры, поэтому временная согласованность имеет решающее значение.
Таким образом, визуальная реалистичность — это отправная точка для валидации, а не доказательство биомеханической точности. Сгенерированная сцена также должна следовать управляющим воздействиям: команды перемещения, вращения и захвата должны приводить к согласованным анатомическим последствиям. Правдоподобная последовательность, игнорирующая эти команды, не может служить интерактивной средой.
Для сохранения такой точности и отзывчивости в контуре управления в реальном времени требуется генерация с низкой задержкой. Cosmos3-H-Dreams решает эту задачу с помощью модели, специализированной для клинической холецистэктомии и дистиллированной для генерации в реальном времени, обеспечивая взаимодействие, обусловленное действиями, в сценах со сложной анатомией, движением тканей и перекрытиями.
2. Что нового в Cosmos3-H-Dreams?
2.1 Основа Cosmos 3 и более богатые хирургические средства управления
Cosmos3-H-Dreams создана на базе Cosmos3-H-Embodied-Nano — модели с 16 миллиардами параметров, предварительно обученной на наборе данных Open-H-Embodiment, — и специализирует двунаправленную модель-учитель на отобранных видео холецистэктомий и данных кинематики. Выборка ориентирована на два видимых взаимодействующих инструмента: левый зажим Кадиере и правый монополярный крючок; команды камеры ограничены, чтобы подчеркнуть взаимодействие, обусловленное инструментами.
Модель использует 28 измерений действий: данные о положении и захвате для обеих рук, а также параметры энергии, оси джойстика и кнопки джойстика. Обучение проводится на видео размером 832 x 480 с действиями, выровненными по частоте 10 Гц; эта частота дискретизации отличается от пропускной способности генерации во время работы.
2.2 От модели-учителя к моделям-ученикам с четырьмя и двумя шагами
Cosmos3-H-Dreams объединяет конвейер обучения «учитель—ученик», разработанный для длинных авторегрессионных последовательностей, с ускоренным потоковым выводом через FlashDreams.
Сначала мы адаптируем двунаправленную модель-учитель на 24 будущих кадрах, а затем расширяем горизонт до 72 кадров — 2,4 и 7,2 секунды при частоте 10 Гц. Это даёт учителю более длинные последовательности, на которых он может изучать хирургическую динамику.
Затем дистилляция преобразует двунаправленную модель-учитель в каузальную модель-ученика, способную генерировать видео короткими блоками по мере поступления новых действий. Каузальное принуждение учителя подготавливает ученика к последовательной генерации с использованием записанного контекста. Затем Self-Forcing обучает его на собственном сгенерированном контексте под руководством учителя и обученного критика. Это помогает устранить накопление ошибок во время интерактивных последовательностей.
В первой выпущенной модели-ученике используется четыре шага удаления шума для каждого сгенерированного блока. Затем мы дополнительно обучаем эту модель по двухшаговому расписанию, чтобы получить вторую контрольную точку релиза. Двухшаговая модель обучается отдельно, а не является результатом запуска четырёхшаговой модели с меньшим числом шагов выборки.
Меньшее число шагов удаления шума сокращает время вывода, но снижает визуальное качество. Обе контрольные точки позволяют разработчикам исследовать компромисс между визуальным качеством и стоимостью вывода.
2.3 Потоковая обработка через FlashDreams
FlashDreams обеспечивает ускоренную потоковую среду выполнения. Длинные последовательности также требуют управления историей внимания модели. Интеграция Cosmos3-H-Dreams использует адаптированный модуль FadeMem, который объединяет растущий кэш ключей и значений во время длинных последовательностей. Это дополняет Self-Forcing: дистилляция определяет, как модель обучается на сгенерированной ею истории, а консолидация кэша — как эта история хранится во время потоковой генерации.
3. Исследование невиденных траекторий
Во время клинической процедуры могут возникать осложнения или у хирурга может быть возможность выполнять «новые» движения. Поэтому симулятор должен обобщать за пределами обучающих данных и создавать согласованные кадры с невиданными ранее движениями. Приведённые ниже демонстрации показывают, как Cosmos3-H-Dreams генерирует различные сцены холецистэктомии на основе действий инструментов, записанных с помощью VR-гарнитуры.
Оба видео начинаются с одного и того же исходного кадра, но следуют разным последовательностям действий, демонстрируя, как управление инструментами приводит к различным продолжениям одной и той же сцены с физически точными деформациями тканей.
Кроме того, эти последовательности позволяют проверить, следуют ли инструменты управляющим воздействиям, согласованно ли ткань реагирует на взаимодействие и сохраняются ли анатомические структуры и внешний вид инструментов неизменными с течением времени.
4. Адаптация к собственным данным и контроллеру
Cosmos3-H-Dreams включает контрольные точки с четырьмя и двумя шагами для холецистэктомии. Систему можно адаптировать к другим наборам данных и воплощениям при наличии синхронизированных видео и совместимых представлений действий. Чтобы обучить модель-ученика реального времени на собственном наборе данных, мы предоставляем полный рецепт дообучения модели-учителя и дистилляции Self-Forcing в нашем пошаговом руководстве. В нём описываются подготовка данных, общедоступные инструменты обучения учителя и этапы дистилляции. Интеграции контроллеров должны использовать те же соглашения о действиях и нормализацию, что и при обучении.
5. Что дальше
Повышение визуальной реалистичности открывает несколько направлений исследований:
- Моделировать всю процедуру. Расширить охват и временную согласованность, чтобы все этапы холецистэктомии можно было систематически исследовать с чёткими границами задач и критериями успеха.
- Объединить генеративное и численное моделирование. Сочетать обученную визуальную реалистичность с явным моделированием геометрии, контактов и механики тканей. Численные модели и измеренные данные могли бы помочь ограничивать и проверять деформации, делая поведение симуляции не только убедительным, но и доступным для анализа.
- Проводить оценку с участием хирургов. Оценивать анатомическую точность, поведение инструментов и реакцию тканей, превращая экспертную обратную связь в воспроизводимые тесты.
- Поддерживать больше инструментов. Перейти от двух управляемых инструментов к более сложной координации, перекрытиям и взаимодействиям.
- Разрабатывать автономные хирургические политики. Соединить модели действий мира с Cosmos3-H-Dreams в замкнутом контуре, чтобы политики могли обучаться выполнению определённых подзадач холецистэктомии.
Это направления исследований, а не уже подтверждённые клинические возможности. Cosmos3-H-Dreams — исследовательский симулятор, а не валидированная система для ухода за пациентами. Он предоставляет основу для изучения хирургического взаимодействия во всё более реалистичной среде.
6. Начните сегодня
Изучите модели, данные и среду выполнения Cosmos3-H-Dreams:
- Код и примеры Cosmos3-H-Dreams: репозиторий GitHub
- Модель Cosmos3-H-Dreams: контрольная точка на Hugging Face
- Cosmos3-H-Embodied-Nano: модель на Hugging Face и репозиторий GitHub
- Адаптация к собственным данным: пошаговый рецепт дообучения модели-учителя и дистилляции self-forcing
- Open-H-Embodiment: набор данных на Hugging Face
- FlashDreams: репозиторий GitHub
- NVIDIA Cosmos 3: репозиторий GitHub
Приносите свои контроллеры, траектории и исследовательские вопросы. Мы с нетерпением ждём, что сообщество создаст внутри этих новых хирургических миров.
Модели, упомянутые в этой статье 2
Наборы данных, упомянутые в этой статье 1
Сообщество
· Зарегистрируйтесь или войдите, чтобы оставить комментарий
Модели, упомянутые в этой статье 2
Наборы данных, упомянутые в этой статье 1
Переведено автоматически с английского. Оригинал статьи — по ссылке ниже.