Пресъздаване на 70-годишна любовна история кадър по кадър

„Love, Rendered“, нов късометражен документален филм, изследва загубата на паметта и силата на разказването на истории — и показва как технологиите могат да помогнат за възстановяването на спомени, които са започнали да избледняват. Филмът проследява Бърт и Етел Шац, двойка, която е женена от над 70 години, докато се справя с когнитивния упадък на Бърт. Сред избледняващите му спомени е един от най-ценните им: денят, в който са се запознали в студентска кооперация в Кливланд. Тъй като не е бил заснет или фотографиран, този ден е съществувал само в съзнанието им.

Когато се включих като технически ръководител на филма, знаех, че проектът ще бъде толкова емоционално натоварващ, колкото и технически сложен. Загубата на паметта е нещо лично за мен. Дядо ми получи инсулт и загуби паметта си, преди да почине. Последният път, когато го посетих, бях на трийсет и няколко години. Той беше убеден, че все още уча в колеж и беше толкова щастлив, че завършвам. Този горчиво-сладък спомен никога не ме напусна.

Това преживяване ме накара да се замисля дали тази технология може да ми помогне да се свържа по-дълбоко със семейството си чрез същото средство. Когато този проект започна, помолих баща си за стари семейни снимки. Тествахме възстановяването на изображения върху снимки от времето, когато родителите ми са се запознали, и използвахме нашите видеомодели, за да ги анимираме. Да гледам как родителите ми се движат като двайсетгодишни наистина ми показа колко много тези инструменти могат да помогнат да не изгубим най-важното.

„Love, Rendered“ е режисиран от номинираната за „Оскар“ режисьорка Лиз Гарбъс, която го продуцира заедно с Дан Коган и Дарън Аронофски. Филмът е създаден в сътрудничество между Google DeepMind и Primordial Soup — творческото начинание на Аронофски.

Изследване на мистерията на спомените

Лиз и Дарън се заеха с филма, водени от любопитство към устойчивостта на паметта. Докато режисираше документалния филм „Coma“, Лиз видя как функционалните ЯМР сканирания се активират, когато пациенти в минимално съзнателно състояние чуят познати гласове или им бъдат показани изображения на близки хора. Години по-късно Дарън се натъкна на кадри на бивша балерина с болестта на Алцхаймер, която, чувайки „Лебедово езеро“, инстинктивно изпълнила хореографията от инвалидната си количка.

Тези допирни точки насочиха творческия екип към терапията чрез спомени — клинична практика, при която сензорни сигнали като песни, семейни истории и стари снимки се използват за стимулиране на спомените, започване на разговори и възстановяване на емоционалните връзки. Но какво се случва, когато даден спомен не е свързан с подобни сигнали?

За да пресъздадат незаписаното минало на Бърт и Етел, режисьорите си партнираха с моя екип. Седнала до нас, Етел се превърна в активен съавтор, като коригираше извивката на стълбището или формата на тока на обувката.

Улавяне на човешката същност с изкуствен интелект

Работихме заедно с екипа на Primordial Soup, използвайки нововъзникващи модели на изкуствения интелект като художествено средство и набор от инструменти, насочвайки технологията с човешка намеса на всяка стъпка.

Запълването на празнините между липсващите детайли изискваше двустранен технически подход, създаден да съхрани емоционалната истина.

• Възстановяване на изображения: Екипът използва генеративни модели, за да възстанови черно-бели снимки на Бърт и Етел от младостта им. Възстановените фотографии помогнаха да се гарантира, че последващите пресъздавания ще останат верни на образите им.

• Контрол на позата и изпълнението: Инженерите използваха нашите модели за улавяне на изпълнението, за да картографират характерните за настоящето микроманиери на Бърт и Етел — специфичния наклон на главата на Бърт, краткото колебание в речевия му модел, едва доловимите бръчици около очите му. Пренасянето на тези черти върху по-младите им образи вдъхна живот на пресъздаването.

Комбинирането на тези две средства ни позволи да преплетем миналото и настоящето на Бърт и Етел. Така създадохме „спомен“, който според думите им се усещал автентичен.

Вижте как колегата ми Джес Галегос обяснява работния процес по-подробно.

Както отбеляза Дарън по време на продукцията, един инструмент — като четка или чук — не прави нищо, докато не бъде насочван от човешки ръце. В „Love, Rendered“ машинното обучение беше инструментът, който използвахме, за да поведем Бърт и Етел обратно през времето и да им помогнем да се задържат за един изчезващ миг.

Можете да гледате целия филм тук, за да преживеете любовната им история кадър по кадър.

Съхраняване на историята на вашето семейство

Независимо дали искате да се свържете с баба или дядо, или да съхраните най-важните спомени на семейството си, можете да възстановите стари снимки в приложението Gemini. Качете изображение на снимката и попитайте Gemini: „Можеш ли да възстановиш и оцветиш тази снимка? Запази външния вид, изражението и позата на хората.“