Представляємо ембеддинги OlmoEarth: користувацький експорт ембеддингів з OlmoEarth Studio для подальшого аналізу
OlmoEarth Studio, наша платформа для створення моделей спостереження Землі, тепер дає змогу обчислювати й експортувати вектори вбудовувань—компактні числові представлення даних спостереження Землі, створені нашими відкритими базовими моделями OlmoEarth. Вихідний код і ваги моделей доступні публічно разом із науковою статтею, тож спільнота може перевірити, як саме генеруються ці вбудовування.
Вбудовування—це швидкий і економічно вигідний спосіб почати використовувати OlmoEarth: вони підтримують широкий спектр подальших завдань—від пошуку за схожістю до сегментації та неконтрольованого дослідження. Місця зі схожими характеристиками поверхні отримують схожі вектори; місця, що відрізняються, опиняються далеко одне від одного. Вбудовування OlmoEarth продемонстрували високу ефективність у наших власних тестах і в незалежних оцінюваннях. Експортовані Cloud-Optimized GeoTIFF (COG) є компактними та зручними для обміну. Виберіть область інтересу, часовий діапазон, варіант енкодера, роздільну здатність і джерела знімків через інтерфейс Studio або API—і отримайте COG, який можна використовувати як завгодно. Якщо ваш застосунок потребує вищої продуктивності, Studio також підтримує контрольоване донавчання (SFT).
Користувацькі обчислені вбудовування тепер доступні користувачам OlmoEarth Studio. Зв’яжіться з нами, якщо ви зацікавлені в отриманні доступу. Інструкції з використання загальнодоступних моделей OlmoEarth для обчислення власних вбудовувань доступні тут.
Обчислення вбудовувань у Studio
Глобальна структура у вбудовуваннях OlmoEarth із сезонних знімків Sentinel-2 на основі 1,1 млн зразків. Кольори позначають 15 кластерів k-means у просторі вбудовувань, зменшеному за допомогою PCA.
Обчислення вбудовувань відбувається за тим самим робочим процесом, що й будь-яке інше передбачення в Studio. Спочатку налаштуйте модель і запустіть її, а потім завантажте результати. Кілька параметрів дають змогу налаштувати результат:
- Область інтересу: Намалюйте або завантажте будь-який полігон; Studio виконає отримання знімків і тайлінг.
- Часовий проміжок: від 1 до 12 місячних періодів.
- Варіант енкодера: Nano (128 вимірів, 1,4 млн параметрів), Tiny (192 виміри, 6,2 млн параметрів) або Base (768 вимірів, 89 млн параметрів).
- Просторова роздільна здатність: 10, 20, 40 або 80 метрів на піксель.
- Джерела знімків: Sentinel-2 L2A, Sentinel-1 RTC або обидва джерела.
Різні варіанти візуалізації, застосовані до того самого растру вбудовувань.
Studio створює COG з одним діапазоном на кожен вимір вбудовування. Вектори зберігаються як знакові 8-бітні цілі числа (int8). Значення перебувають у діапазоні від -127 до +127, а -128 зарезервовано для nodata. Щоб відновити вектори з плаваючою комою, див. dequantize_embeddings у olmoearth_pretrain.
Оскільки все обчислюється на вимогу, а не береться з попередньо обчисленого глобального архіву, ваші вбудовування точно відображають умови, які вас цікавлять. Ви можете генерувати місячні вбудовування, щоб фіксувати сезонну динаміку, а не лише щорічні зрізи.
Що можна робити з вбудовуваннями OlmoEarth
Усі наведені нижче приклади використовують вбудовування OlmoEarth-v1-Tiny (192 виміри) з роздільною здатністю 40 метрів і композитами Sentinel-2 L2A (для більшості прикладів—річними, для виявлення змін—місячними). Tiny—це компактний енкодер, який водночас демонструє високу продуктивність; у власних застосунках його можна замінити на більший варіант ціною вищих витрат на обчислення та зберігання.
Пошук за схожістю: пошук «чогось подібного»
Виберіть піксель-запит, отримайте його вбудовування й обчисліть косинусну схожість з усіма іншими пікселями. Результатом буде теплова карта, яка показує, де ландшафт найбільше й найменше схожий на піксель-запит.
Цей запит розташований поблизу міського центру Мерседа в Каліфорнії. Міська забудова й дорожні коридори узгоджено підсвічуються, тоді як сільськогосподарські ділянки залишаються темними. Модель розрізняє забудовані поверхні та орні землі без жодних міток.
Замінивши запит на невелику сільськогосподарську ділянку, ми визначаємо вектор запиту як середнє значення векторів вбудовувань у цій ділянці, а потім отримуємо знімки Sentinel-2 у місцях із найвищою та найнижчою схожістю, щоб побачити, що модель вважає схожим і несхожим.
Найбільш схожі ділянки (0,89 і вище)—це сільськогосподарські землі з полями, що зрошуються. Найменш схожі (близько нуля)—аеропорт із прилеглим оголеним ґрунтом, водосховище із сухою місцевістю та посушливі пасовища. Жодних навчальних даних, жодних міток—лише скалярний добуток у просторі вбудовувань.
Сегментація за невеликою кількістю прикладів: маркування ландшафту
Пошук за схожістю відповідає на запитання «де є щось подібне?», але іноді потрібні дискретні мітки для цілого регіону. Оскільки представлення вже є змістовними, простий лінійний класифікатор може створити суцільну карту земного покриву лише з дуже невеликої кількості маркованих пікселів.
Щоб перевірити це, ми промаркували лише 60 пікселів (по 20 на клас) у Ка-Мау, В’єтнам—прибережному регіоні мангрових лісів. Використовуючи ESA WorldCover 2021 як джерело міток для трьох класів (мангрові ліси, вода, інше), ми випадково відібрали по 20 пікселів на клас, навчили логістичну регресію зі стандартизацією ознак і спрогнозували кожен піксель у регіоні.
На основі 60 маркованих пікселів класифікатор створює узгоджену карту з показником зваженого F1 = 0,84. Мангрові насадження, припливні канали та відкриті водойми окреслено в усьому регіоні. Класифікатор швидко досягає насичення: збільшення кількості міток із 30 до 300 майже не змінює точність, оскільки основну роботу виконують вбудовування.
Основу аналізу становлять кілька рядків Python:
import rasterio
import numpy as np
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LogisticRegression
with rasterio.open("embeddings.tif") as ds:
emb = ds.read().astype(np.float32)
C, H, W = emb.shape
X = emb.reshape(C, -1).T
clf = make_pipeline(StandardScaler(), LogisticRegression(max_iter=2000))
clf.fit(X[train_idx], labels[train_idx])
prediction = clf.predict(X).reshape(H, W)
Це лінійний пробник—стандартний метод оцінювання базових моделей. Той факт, що логістична регресія над 192 вимірами відновлює межі земного покриву з такої малої кількості міток, означає, що енкодер Tiny організував ці екологічні відмінності під час попереднього навчання. Більші варіанти (Base, 768 вимірів) кодують ще змістовніші представлення.
Якщо у вас є еталонні полігони, точки польових досліджень або груба наявна карта, ви можете навчити подібний класифікатор і створити суцільну карту для власного регіону інтересу.
Виявлення змін: фіксація того, що змінилося
Оскільки Studio може генерувати вбудовування з будь-якою часовою роздільною здатністю (від місячної до річної), можна безпосередньо порівнювати два часові періоди, щоб визначити, де змінилися умови поверхні. Нижче ми обчислили місячні вбудовування Sentinel-2 для того самого регіону у вересні 2023 та вересні 2024 року й виміряли косинусну відстань для кожного пікселя. Слід пожежі Park Fire (липень—вересень 2024 року) в окрузі Б’ютт, Каліфорнія, одразу стає помітним.
Мітки чи навчання не потрібні—лише два COG із вбудовуваннями та кілька рядків Python.
Неконтрольоване дослідження: бачимо те, що бачить модель
Іноді у вас немає ані місця-запиту, ані еталонних міток. Ви просто хочете зрозуміти, яка структура присутня у вбудовуваннях. Аналіз головних компонентів (PCA)—зручний спосіб зробити це: зменшити дані до трьох вимірів, зіставити їх із каналами R/G/B і відобразити як псевдокольорове зображення. Схожі вбудовування автоматично отримують схожі кольори.
Флеволанд у Нідерландах—це відвойований у моря польдерний ландшафт із регулярною сіткою сільськогосподарських ділянок. Псевдокольорове зображення PCA з високою точністю відтворює ці межі. Різні типи культур, водойми та міські території отримують окремі відтінки. Вбудовування засвоїло структуру ландшафту, хоча модель ніколи не отримувала інформації про те, що таке ділянка чи культура.
Такий неконтрольований огляд—швидкий спосіб побачити, яку структуру модель виявила у вашій області інтересу.
Від експорту до інсайтів
Пошук за схожістю, сегментація за невеликою кількістю прикладів, виявлення змін і дослідження за допомогою PCA—це прості операції зі стандартними растровими даними, які виконуються за лічені секунди. Сила полягає у вбудовуваннях: навчених представленнях, що стискають дані спостереження Землі у вектори, які містять змістовну інформацію про кожне місце, отриману з багатьох сенсорів і мільйонів навчальних прикладів.
Користувацький експорт вбудовувань уже доступний. Створіть проєкт, налаштуйте модель вбудовувань і обчисліть свої вбудовування. Експортований GeoTIFF працює з будь-яким геопросторовим інструментом: QGIS, GDAL, rasterio або власними скриптами. Повний код для відтворення прикладів із цієї публікації див. у навчальному посібнику з вбудовувань, який містить робочий код для пошуку за схожістю, сегментації за невеликою кількістю прикладів, виявлення змін і візуалізації PCA. Щоб попрацювати практично без локального налаштування, спробуйте ноутбук Colab.
Рухаємося далі: донавчання
Усі приклади в цій публікації використовують заморожені вбудовування без навчання під конкретне завдання. Вбудовування—чудова відправна точка для використання OlmoEarth: вони дають змогу швидко й економно генерувати результати, добре працюють в умовах обмежених ресурсів і зручні для обміну. Для застосунків, що потребують вищої продуктивності, OlmoEarth Studio також підтримує SFT—навчання спеціалізованої головки моделі на власних мітках, що зазвичай перевершує лінійні пробники на заморожених ознаках.
Обмеження
Хоча ми постійно працюємо над удосконаленням підходів до попереднього навчання, важливо перевіряти якість вбудовувань для вашого сценарію використання за допомогою деяких описаних вище методів. Продуктивність також залежить від якості вхідних знімків—стійка хмарність, атмосферні артефакти або відсутність спостережень у періоді формування композиту можуть впливати на отримані вектори.
Знімки Sentinel-2 L2A Європейського космічного агентства, отримані через Microsoft Planetary Computer. ESA WorldCover 2021 v200 для еталонних даних про мангрові ліси. Візуалізація глобальної кластеризації використовує OlmoEarth-v1-Base (768 вимірів) із сезонними композитами Sentinel-2, розміром патчу 8 і вбудовуваннями на рівні екземплярів на основі 1,1 млн зразків попереднього навчання.
Колекції, згадані в цій статті 1
Спільнота
· Зареєструйтеся або увійдіть, щоб залишити коментар
Колекції, згадані в цій статті 1
Перекладено автоматично з англійської. Оригінал статті — за посиланням нижче.