Sakhanda Wire
NVDA $239.24 +0.14% MSFT $529.30 +0.78% GOOGL $347.68 +0.35% META $738.88 -0.41% AMZN $256.29 +1.95%
← До новин

Дослідники розширили JEPA Яна ЛеКуна до універсальної моделі світу, що працює від фізики до біології

Дослідники розширили JEPA від ЛеКуна до універсальної моделі світу, що працює від фізики до біології
Джонатан Кемпер
6 жовтня 2026 року
Nano Banana Pro за запитом THE DECODER

Ключові моменти

  • Модель ШІ JEPA-Anything розширює архітектуру, започатковану Янном ЛеКуном, до моделі світу, яка працює в таких сферах, як фізика, робототехніка та медицина.
  • Метод розбиває майбутні стани на кілька часткових прогнозів замість того, щоб зводити все до одного, завдяки чому виявляє закономірності, які стандартні моделі пропускають.
  • Модель також визначила кандидата для лікування раку печінки, який знищував у лабораторних зразках і мишах більше пухлинних клітин, ніж кожен із його компонентів окремо.

Дослідники розширили архітектуру JEPA, започатковану Янном ЛеКуном, щоб вона працювала в семи дуже різних сферах. У межах цієї роботи також було створено кандидата для лікування раку печінки, якого команда випробувала в лабораторії.

Моделі світу прогнозують, як розвиватиметься система — чи то робот, молекула або стан здоров’я пацієнта. Досі кожна галузь зазвичай потребувала власної моделі. Команда під керівництвом PhAI Labs у співпраці з дослідниками зі Стенфорда, Оксфорда та Принстона хоче показати, що достатньо одного спільного принципу.

Їхня стаття представляє JEPA-Anything, побудовану на основі Joint-Embedding Predictive Architectures (JEPA). Ці моделі не відтворюють необроблені дані, як-от пікселі, а натомість прогнозують абстрактний опис відсутнього або майбутнього стану, відфільтровуючи несуттєві деталі. Автори вбачають слабкість стандартного підходу в тому, що все зводиться до одного прогнозу, через що прості закономірності зрештою заглушають складніші.

Кілька спеціалізованих прогнозів замість одного

JEPA-Anything розбиває прогнозований стан на кілька частин, кожною з яких займається власний модуль прогнозування. Додаткове обмеження спонукає модулі фіксувати різні аспекти, а не вивчати одне й те саме, після чого модель повторно збирає їхні часткові прогнози в цілісну картину.

Оглядова схема JEPA-Anything. У верхньому рядку показано сім сфер — від комп’ютерного зору до прогнозування погоди. Нижче стандартну JEPA з одним прогнозувальником порівняно з підходом JEPA-Anything із чотирма окремими прогнозувальниками. Унизу наведено три групи оцінювання для кінцевого зчитування, прихованої динаміки світу та наукового аналізу.
На відміну від стандартної JEPA, JEPA-Anything розділяє прогнозований стан на чотири ортогональні фактори, кожен із власним прогнозувальником, а потім повторно збирає їх у повний стан світу. | Зображення: Meta

Дослідники не надають цим частинам жодних значень, дозволяючи їхнім ролям виникнути під час навчання. Натомість вони лише змінюють спосіб підготовки даних для кожної галузі.

Значні покращення в тестах динаміки, неоднозначні результати для роботів

Команда порівняла JEPA-Anything зі стандартною JEPA з такою самою архітектурою, навченими на тих самих даних за ідентичних умов. Найвиразніші покращення продемонстрували динамічні системи: у спрощеному середовищі Pong із цілеспрямованими втручаннями похибка прогнозування зменшилася на 35 відсотків. Для комбінацій втручань, яких модель не бачила під час навчання, вона зменшилася на 13 відсотків.

За словами авторів, JEPA-Anything стабільно випереджала базову модель у десяти тестових завданнях, що охоплювали фізику, робототехніку та прогнозування погоди. Для рівняння Бюргерса, поширеного тесту динаміки рідин, під час окремого оцінювання похибка зменшилася майже вдвічі. Після 50 кроків прогнозування перевага збереглася, але скоротилася приблизно до трьох відсотків. Метод також показав найкращі результати в симуляціях води, кварцу, ацетамінофену та бензолу навіть після 100 кроків.

Стовпчикова діаграма ліворуч показує відносне зниження MSE у JEPA-Anything порівняно зі стандартною JEPA у дев’яти завданнях — від 39,7 відсотка для рівняння Бюргерса до 0,4 відсотка для піксельної динаміки DMC. Діаграма праворуч показує замкнений циклічний результат у CausalWorld із вусами похибки.
Найбільші покращення JEPA-Anything демонструє на фізичних рівняннях потоків, тоді як її перевага над стандартною JEPA для піксельної динаміки ледве помітна. | Зображення: Meta

Для одноклітинних даних модель надійніше визначала типи клітин, а на клінічних даних трохи краще прогнозувала понад 1 000 можливих подій, пов’язаних із захворюваннями. Різниця в завданнях із зображеннями була невеликою. У плануванні пересування змодельованих роботів, що ходять, JEPA-Anything перемогла у двох із трьох середовищ, тоді як стандартна модель випередила її в третьому.

Модель визначила спосіб лікування раку печінки, тож команда його випробувала

Найсміливіше твердження команди стосується дослідження раку печінки. Дослідники проаналізували часткові прогнози, які модель вивчила з біологічних даних, зокрема активності генів, рівнів білків і результатів CRISPR-скринінгу. Найкращий кандидат поєднав IL-18 — сигнальну молекулу, що активує імунні клітини, — із блокуванням ферменту CD73, який пухлини використовують для придушення імунних реакцій поблизу.

Команда випробувала комбінацію на клітинах раку печінки, культивованих разом з імунними клітинами, на органоїдах і зразках пухлинної тканини від трьох пацієнтів у кожній групі, а також на мишах. В органоїдах і зразках тканин комбінація знищила більше пухлинних клітин, ніж один лише IL-18 або блокування CD73, а Т-клітини та природні кілерні клітини продемонстрували сильнішу активацію. Дослідження не встановлює, чи може це стати справжньою терапією.

Стовпчикові діаграми показують результати для органоїдів і фрагментів пухлин, отриманих від трьох пацієнтів із раком печінки. На діаграмах порівнюються частка знищених пухлинних клітин і активованих імунних клітин у чотирьох умовах: контроль, IL-18, інгібітор CD73 та комбінація обох засобів.
Запропонована моделлю комбінація IL-18 і блокування CD73 знищила найбільше ракових клітин і активувала найбільше імунних клітин в органоїдах і фрагментах пухлин. | Зображення: Meta

В іншому випадку дослідники навчили модель на змодельованих орбітах, не надаючи їй жодних фізичних величин. Виявилося, що вивчені закономірності майже точно відповідають третьому закону Кеплера, згідно з яким тіла на більших орбітах рухаються значно повільніше. Закон визначає орбітальну частоту як розмір орбіти в степені мінус 1,5; модель отримала значення мінус 1,4991. Команда оцінила лише один запуск навчання та обрала той, що мав найменшу похибку.

Автори застерігають, що чітке розділення вивчених частин не означає, що вони відображають справжні причинно-наслідкові зв’язки. Також залишається відкритим питання, коли така модель стане достатньо надійною, щоб керувати розробкою експериментів. Це довгострокова мета команди: агенти ШІ використовуватимуть JEPA-Anything для пропонування та ранжування експериментів, а потім передаватимуть результати назад у модель. Код і моделі доступні публічно.

ЛеКун запропонував JEPA у 2022 році як альтернативу генеративним моделям. У червні 2025 року Meta випустила V-JEPA 2 — відеомодель JEPA з 1,2 мільярда параметрів, яка керувала роботизованими маніпуляторами в незнайомих середовищах без додаткового навчання. У листопаді 2025 року ЛеКун і Рендалл Балестр’єро представили продовження — LeJEPA, теоретичну основу, покликану забезпечити стабільність навчання без звичних обхідних рішень. Нині ЛеКун розвиває цей підхід через свій стартап AMI Labs, який у березні 2026 року залучив понад мільярд доларів на створення моделей світу.

Google DeepMind ще в жовтні 2025 року випробувала в лабораторії гіпотезу щодо раку, згенеровану ШІ. Її модель C2S-Scale 27B на основі Gemma запропонувала препарат силмітасертиб, щоб зробити пухлинні клітини помітнішими для імунної системи, а експерименти з моделями людських клітин підтвердили прогноз. Мультиагентна система Google DeepMind Co-Scientist тепер планує експерименти й керує лабораторним обладнанням, охоплюючи частини циклу, який хоче побудувати команда JEPA-Anything. Однак завантажувати зразки в апарати все ще мають люди.

Новини ШІ без ажіотажу — відібрані людьми

Підпишіться на THE DECODER, щоб читати без реклами, отримувати щотижневу розсилку про ШІ, наш ексклюзивний передовий звіт «AI Radar» шість разів на рік, повний доступ до архіву та доступ до розділу коментарів.

Джерело: Arxiv

Перекладено автоматично з англійської. Оригінал статті — за посиланням нижче.

Вперше опубліковано виданням The Decoder

Читати оригінал на The Decoder ↗

Текст і зображення належать The Decoder і наводяться тут із зазначенням авторства та посиланням на оригінальну публікацію.

← До новин

Ще новини

Усі останні новини