Воссоздание 70-летней истории любви кадр за кадром

«Love, Rendered» — новый короткометражный документальный фильм, посвящённый потере памяти и силе повествования. Он показывает, как технологии могут помочь вновь пробудить воспоминания, которые начали угасать. В центре фильма — Берт и Этель Шац, супруги, прожившие в браке более 70 лет, которые вместе сталкиваются с ухудшением когнитивных способностей Берта. Среди угасающих воспоминаний есть одно из самых дорогих для них: день, когда они встретились в студенческом кооперативе в Кливленде. Поскольку этот день не был запечатлён ни на фотографиях, ни на плёнке, он существовал только в их памяти.

Когда я присоединился к проекту в качестве технического руководителя фильма, я понимал, что он будет столь же эмоционально сложным, сколь и технически комплексным. Тема потери памяти близка мне лично. Перед смертью мой дед перенёс инсульт и столкнулся с потерей памяти. Когда я навещал его в последний раз, мне было за тридцать. Он был уверен, что я всё ещё учусь в колледже, и очень радовался тому, что я заканчиваю учёбу. Это горько-сладкое воспоминание навсегда осталось со мной.

Этот опыт заставил меня задуматься, может ли такая технология помочь мне глубже общаться с семьёй с помощью того же средства. Когда началась работа над проектом, я попросил отца показать старые семейные фотографии. Я испытал нашу систему восстановления изображений на фотографиях, сделанных в то время, когда мои родители познакомились, а затем использовал наши видеомодели, чтобы оживить их. Наблюдая за тем, как мои родители двигаются в возрасте около двадцати лет, я особенно ясно понял, как эти инструменты могут помочь сохранить то, что для нас важнее всего, и не дать этому исчезнуть.

Режиссёром «Love, Rendered» стала номинированная на премию «Оскар» кинематографистка Лиз Гарбус, выступившая продюсером вместе с Дэном Коганом и Дарреном Аронофски. Фильм создан в сотрудничестве Google DeepMind и Primordial Soup — креативного проекта Аронофски.

Исследуя тайну воспоминаний

Лиз и Даррен пришли в этот проект, стремясь разобраться в стойкости памяти. Во время работы над документальным фильмом «Coma» Лиз видела, как на снимках фМРТ активировались участки мозга пациентов с минимальным уровнем сознания, когда они слышали знакомые голоса или видели изображения близких. Несколько лет спустя Даррен столкнулся с видеозаписью бывшей балерины с болезнью Альцгеймера, которая, услышав «Лебединое озеро», инстинктивно исполнила хореографию, сидя в инвалидном кресле.

Эти примеры привели творческую команду к терапии воспоминаниями — клинической практике, в которой сенсорные стимулы, такие как песни, семейные истории и старые фотографии, используются для пробуждения воспоминаний, начала разговоров и восстановления эмоциональных связей. Но что происходит, когда воспоминание не связано с подобными стимулами?

Чтобы воссоздать незапечатлённое прошлое Берта и Этель, кинематографисты объединились с моей командой. Этель работала рядом с нами и стала активным соавтором, исправляя изгиб лестницы или форму каблука.

Передача человеческой сущности с помощью ИИ

Мы работали вместе с командой Primordial Soup, используя новые модели ИИ как художественный инструмент и набор средств, направляя технологию на каждом этапе с помощью человеческого замысла.

Чтобы заполнить пробелы в недостающих деталях, потребовался двухчастный технический подход, призванный сохранить эмоциональную правду.

• Восстановление изображений: команда использовала генеративные модели для восстановления чёрно-белых фотографий Берта и Этель, сделанных в молодости. Восстановленные фотографии помогли обеспечить достоверность последующих воссозданий.

• Управление позой и исполнением: инженеры использовали наши модели захвата исполнения, чтобы сопоставить микроповедение Берта и Этель в настоящем — характерный наклон головы Берта, короткую паузу в его речи, едва заметные морщинки вокруг глаз. Перенос этих особенностей на их молодые образы оживил воссоздание.

Сочетание этих двух средств позволило нам переплести прошлое и настоящее Берта и Этель. В результате мы создали «воспоминание», которое, по их словам, ощущалось подлинным.

Посмотрите, как моя коллега Джесс Галлегос подробнее объясняет этот рабочий процесс.

Как отметил Даррен во время производства, инструмент — будь то кисть или молоток — ничего не делает, пока его не направят человеческие руки. В «Love, Rendered» машинное обучение стало инструментом, с помощью которого мы провели Берта и Этель сквозь время и помогли им удержать ускользающий момент.

Посмотрите полный фильм здесь, чтобы пережить их историю любви кадр за кадром.

Сохраните историю своей семьи

Если вы хотите наладить связь с бабушкой или дедушкой либо сохранить ключевые семейные воспоминания, вы можете восстановить старые фотографии в приложении Gemini. Загрузите изображение фотографии и попросите Gemini: «Можешь восстановить и раскрасить эту фотографию? Сохрани внешность, выражение лиц и позы людей».