Представяме ембедингите OlmoEarth: персонализирано експортиране на ембединги от OlmoEarth Studio за последващ анализ
OlmoEarth Studio, нашата платформа за изграждане на модели за наблюдение на Земята, вече ви позволява да изчислявате и експортирате векторни представяния—компактни числови представяния на данни от наблюдението на Земята, генерирани от нашите модели с отворен код за основа OlmoEarth. Изходният код и теглата на моделите са публично достъпни заедно с научната статия, така че общността може да провери точно как се генерират тези векторни представяния.
Векторните представяния са бърз и икономичен начин да се възползвате от OlmoEarth: те поддържат широк спектър от последващи задачи — от търсене по сходство до сегментация и неконтролирано изследване. Местоположенията със сходни характеристики на земната повърхност получават сходни вектори; различаващите се местоположения се отдалечават едно от друго. Векторните представяния OlmoEarth показаха силни резултати в собствените ни сравнителни тестове и в независими оценки. Експортираните Cloud-Optimized GeoTIFF файлове (COG) са леки и лесни за споделяне. Изберете интересуващата ви област, времевия диапазон, варианта на енкодера, разделителната способност и източниците на изображения чрез потребителския интерфейс или API на Studio и ще получите COG, който можете да използвате както пожелаете. Ако приложението ви изисква по-висока производителност, Studio поддържа и контролирано дообучаване (SFT).
Персонализирано изчислените векторни представяния вече са достъпни за потребителите на OlmoEarth Studio. Свържете се с нас, ако желаете достъп. Инструкции за използване на публично достъпните модели OlmoEarth за изчисляване на собствени векторни представяния можете да намерите тук.
Изчисляване на векторни представяния в Studio
Глобална структура във векторните представяния OlmoEarth от сезонни изображения Sentinel-2 с 1,1 млн. извадки. Цветовете показват 15 клъстера k-means в пространство на векторните представяния, редуцирано чрез PCA.
Изчисляването на векторни представяния следва същия работен процес като всяка друга прогноза в Studio. Първо конфигурирайте модел и го стартирайте, а след това изтеглете резултатите. Няколко параметъра настройват изхода:
- Интересуваща област: Начертайте или качете произволен полигон; Studio обработва получаването на изображенията и разделянето на плочки.
- Времеви диапазон: 1–12 месечни периода.
- Вариант на енкодера: Nano (128 измерения, 1,4 млн. параметъра), Tiny (192 измерения, 6,2 млн. параметъра) или Base (768 измерения, 89 млн. параметъра).
- Пространствена разделителна способност: 10 метра, 20 метра, 40 метра или 80 метра на пиксел.
- Източници на изображения: Sentinel-2 L2A, Sentinel-1 RTC или и двата.
Различни опции за визуализация, приложени към една и съща растерна карта на векторните представяния.
Studio предоставя COG с по един канал за всяко измерение на векторното представяне. Векторите се съхраняват като знакови 8-битови цели числа (int8). Стойностите варират от -127 до +127, като -128 е запазена за липсващи данни. За възстановяване на вектори с плаваща запетая вижте dequantize_embeddings в olmoearth_pretrain.
Тъй като всичко се изчислява при поискване, вместо да се извлича от предварително изчислен глобален архив, вашите векторни представяния отразяват точно условията, които ви интересуват. Можете да генерирате месечни векторни представяния, за да уловите сезонната динамика, а не само годишни моментни снимки.
Какво можете да правите с векторните представяния OlmoEarth
Всички примери по-долу използват векторни представяния OlmoEarth-v1-Tiny (192 измерения) с разделителна способност 40 метра и композити Sentinel-2 L2A (годишни за повечето примери; месечни за откриване на промени). Tiny е лек енкодер, но все пак с висока производителност; за собствените си приложения можете да го замените с по-голям вариант за сметка на по-високи разходи за изчисления и съхранение.
Търсене по сходство: намиране на „нещо подобно“
Изберете пиксел за заявка, извлечете неговото векторно представяне и изчислете косинусова близост спрямо всеки друг пиксел. Резултатът е топлинна карта, показваща къде ландшафтът най-много и най-малко прилича на пиксела за заявка.
Тази заявка се намира близо до градския център на Мърсед, Калифорния. Градската структура и пътните коридори се открояват последователно, докато земеделските парцели остават тъмни. Моделът разграничава застроените повърхности от обработваемите земи без никакви етикети.
При смяна на заявката с малък земеделски прозорец дефинираме вектора на заявката като средната стойност на векторите на представянията в този прозорец, след което извличаме изображения Sentinel-2 от местоположенията с най-висока и най-ниска близост, за да видим какво моделът счита за сходно и различно.
Най-сходните парцели (0,89 и повече) са земеделски участъци с напоявани полета. Най-малко сходните (около нулата) са летище с оголена почва наоколо, язовир със сух терен и сухи пасища. Няма обучаващи данни, няма етикети — само скаларно произведение в пространството на векторните представяния.
Сегментация с малко примери: етикетиране на ландшафта
Търсенето по сходство отговаря на въпроса „къде е нещо подобно на това?“, но понякога са ви нужни дискретни етикети за цял регион. Тъй като представянията вече са богати, прост линеен класификатор може да създаде карта на земното покритие за целия регион само от няколко етикетирани пиксела.
За да проверим това, етикетирахме само 60 пиксела (по 20 за клас) над Ка Мау, Виетнам — крайбрежен регион с мангрови гори. Използвахме ESA WorldCover 2021 като източник на етикети за три класа (мангрова гора, вода, друго), избрахме на случаен принцип по 20 пиксела за клас, обучихме логистична регресия със стандартизация на характеристиките и направихме прогноза за всеки пиксел в региона.
От 60 етикетирани пиксела класификаторът създава последователна карта с претеглен F1 = 0,84. Мангровите гори, приливните канали и откритите води са очертани в целия регион. Класификаторът бързо достига насищане: увеличаването на етикетите от 30 на 300 почти не променя точността, защото по-голямата част от работата се извършва от векторните представяния.
Основата на анализа е няколко реда Python:
import rasterio
import numpy as np
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LogisticRegression
with rasterio.open("embeddings.tif") as ds:
emb = ds.read().astype(np.float32)
C, H, W = emb.shape
X = emb.reshape(C, -1).T
clf = make_pipeline(StandardScaler(), LogisticRegression(max_iter=2000))
clf.fit(X[train_idx], labels[train_idx])
prediction = clf.predict(X).reshape(H, W)
Това е линеен пробник — стандартна оценка за модели за основа. Фактът, че логистична регресия върху 192 измерения възстановява границите на земното покритие от толкова малко етикети, означава, че енкодерът Tiny е организирал тези екологични различия по време на предварителното обучение. По-големите варианти (Base, 768 измерения) кодират още по-богати представяния.
Ако разполагате с полигони с реални данни, точки от теренни проучвания или съществуваща карта с груба резолюция, можете да обучите подобен класификатор и да създадете карта за целия интересуващ ви регион.
Откриване на промени: установяване на настъпилото изменение
Тъй като Studio може да генерира векторни представяния с произволна времева резолюция (от месечна до годишна), можете директно да сравните два периода, за да идентифицирате местата, където условията на повърхността са се променили. По-долу изчислихме месечни векторни представяния Sentinel-2 за същия регион през септември 2023 г. и септември 2024 г. и измерихме косинусовото разстояние за всеки пиксел. Следата от пожара Park Fire (юли–септември 2024 г.) в окръг Бът, Калифорния, се откроява незабавно.
Не са нужни етикети или обучение — само два COG файла с векторни представяния и няколко реда Python.
Неконтролирано изследване: да видим какво вижда моделът
Понякога нямате нито местоположение за заявка, нито референтни етикети. Просто искате да разберете каква структура съществува във векторните представяния. Анализът на главните компоненти (PCA) е удобен начин да направите това: намалете до три измерения, преобразувайте в R/G/B и визуализирайте като изображение с фалшиви цветове. Сходните векторни представяния автоматично получават сходни цветове.
Флеволанд в Нидерландия е рекултивиран полдерен ландшафт с регулярна мрежа от земеделски парцели. Изображението с фалшиви цветове от PCA възпроизвежда тези граници с висока точност. Различните видове култури, водните обекти и градските райони получават различни оттенъци. Векторното представяне е усвоило структурата на ландшафта, без никога да му е било казвано какво представляват парцелът или културата.
Този вид неконтролирана визуализация е бърз начин да видите каква структура е усвоил моделът във вашата интересуваща област.
От експорта до прозрението
Търсенето по сходство, сегментацията с малко примери, откриването на промени и изследването чрез PCA са прости операции върху стандартни растерни данни, които се изпълняват за секунди. Силата идва от векторните представяния: научени представяния, които компресират данните от наблюдението на Земята във вектори, улавящи богата информация за всяко местоположение от множество сензори и милиони обучаващи примери.
Персонализираният експорт на векторни представяния вече е достъпен. Създайте проект, конфигурирайте модел за векторни представяния и изчислете своите векторни представяния. Експортираният GeoTIFF работи с всеки геопространствен инструмент: QGIS, GDAL, rasterio или вашите собствени скриптове. За цялостен код, възпроизвеждащ примерите от тази публикация, вижте урока за векторни представяния, който включва работещ код за търсене по сходство, сегментация с малко примери, откриване на промени и визуализация чрез PCA. За практическа работа без локална настройка опитайте тетрадката в Colab.
По-нататък: дообучаване
Всички примери в тази публикация използват замразени векторни представяния без специфично за задачата обучение. Векторните представяния са чудесен начин да се възползвате от OlmoEarth: те позволяват бързо и икономично генериране на резултати, работят добре в среди с ограничени ресурси и са лесни за споделяне. За приложения, изискващи по-висока производителност, OlmoEarth Studio поддържа и SFT — обучение на специфична за задачата глава на модела с ваши собствени етикети, което обикновено превъзхожда линейните пробници върху замразени характеристики.
Ограничения
Макар постоянно да работим за подобряване на подходите си за предварително обучение, важно е да проверите качеството на векторните представяния за вашия конкретен случай на употреба чрез някои от описаните по-горе техники. Производителността зависи и от качеството на входните изображения — постоянното облачно покритие, атмосферните артефакти или липсващите наблюдения през периода на съставяне могат да повлияят на получените вектори.
Изображения Sentinel-2 L2A от Европейската космическа агенция, достъпени чрез Microsoft Planetary Computer. ESA WorldCover 2021 v200 за референция на мангровите гори. Визуализацията на глобалното клъстериране използва OlmoEarth-v1-Base (768 измерения) със сезонни композити Sentinel-2, размер на плочката 8 и векторни представяния на ниво инстанция върху 1,1 млн. обучаващи извадки.
Колекции, споменати в тази статия 1
Общност
· Регистрирайте се или влезте в профила си, за да коментирате
Колекции, споменати в тази статия 1
Преведено автоматично от английски. Оригиналната статия е на връзката по-долу.