Представляем эмбеддинги OlmoEarth: экспорт пользовательских эмбеддингов из OlmoEarth Studio для последующего анализа
OlmoEarth Studio, наша платформа для создания моделей наблюдения Земли, теперь позволяет вычислять и экспортировать векторы эмбеддингов — компактные числовые представления данных наблюдения Земли, создаваемые нашими моделями-основами OlmoEarth с открытым исходным кодом. Исходный код и веса моделей доступны публично вместе с исследовательской статьёй, поэтому сообщество может точно изучить процесс генерации этих эмбеддингов.
Эмбеддинги — быстрый и экономичный способ начать использовать OlmoEarth: они поддерживают широкий спектр последующих задач — от поиска похожих объектов до сегментации и неконтролируемого исследования. Местоположения с похожими характеристиками поверхности получают похожие векторы, а различающиеся местоположения оказываются далеко друг от друга. Эмбеддинги OlmoEarth показали высокую эффективность в наших собственных тестах и в независимых оценках. Экспортируемые Cloud-Optimized GeoTIFF (COG) компактны и удобны для обмена. Выберите интересующую область, временной диапазон, вариант энкодера, разрешение и источники изображений через интерфейс Studio или API — и получите COG, который можно использовать любым удобным способом. Если вашему приложению требуется более высокая производительность, Studio также поддерживает обучение с учителем (SFT).
Пользовательские эмбеддинги, вычисляемые по запросу, теперь доступны пользователям OlmoEarth Studio. Свяжитесь с нами, если хотите получить доступ. Инструкции по использованию общедоступных моделей OlmoEarth для вычисления собственных эмбеддингов доступны здесь.
Вычисление эмбеддингов в Studio
Глобальная структура эмбеддингов OlmoEarth на основе сезонных изображений Sentinel-2 для 1,1 млн образцов. Цвета обозначают 15 кластеров k-means в пространстве эмбеддингов, уменьшенном методом PCA.
Вычисление эмбеддингов выполняется по тому же рабочему процессу, что и любое другое предсказание в Studio. Сначала настройте модель и запустите её, затем скачайте результаты. Несколько параметров позволяют адаптировать вывод:
- Интересующая область: Нарисуйте или загрузите любой полигон; Studio самостоятельно выполняет получение изображений и разбиение на тайлы.
- Временной диапазон: от 1 до 12 месячных периодов.
- Вариант энкодера: Nano (128 измерений, 1,4 млн параметров), Tiny (192 измерения, 6,2 млн параметров) или Base (768 измерений, 89 млн параметров).
- Пространственное разрешение: 10, 20, 40 или 80 метров на пиксель.
- Источники изображений: Sentinel-2 L2A, Sentinel-1 RTC или оба источника.
Различные варианты визуализации, применённые к одному и тому же растру эмбеддингов.
Studio формирует COG с одной полосой на каждое измерение эмбеддинга. Векторы хранятся как знаковые 8-битные целые числа (int8). Значения находятся в диапазоне от -127 до +127, а -128 зарезервировано для nodata. Чтобы восстановить векторы с плавающей точкой, см. dequantize_embeddings в olmoearth_pretrain.
Поскольку всё вычисляется по запросу, а не извлекается из заранее подготовленного глобального архива, ваши эмбеддинги точно отражают интересующие вас условия. Вы можете генерировать месячные эмбеддинги, чтобы учитывать сезонную динамику, а не только годовые срезы.
Что можно делать с эмбеддингами OlmoEarth
Во всех приведённых ниже примерах используются эмбеддинги OlmoEarth-v1-Tiny (192 измерения) с разрешением 40 метров и композитами Sentinel-2 L2A (для большинства примеров — годовыми, для обнаружения изменений — месячными). Tiny — лёгкий энкодер, который при этом обеспечивает высокую производительность; в собственных приложениях его можно заменить на более крупный вариант, учитывая возросшие затраты на вычисления и хранение.
Поиск похожих объектов: поиск «чего-то похожего на это»
Выберите пиксель-запрос, извлеките его эмбеддинг и вычислите косинусное сходство с каждым другим пикселем. В результате получится тепловая карта, показывающая, где ландшафт больше или меньше всего похож на выбранный пиксель.
Этот запрос расположен рядом с городским центром Мерседа в Калифорнии. Городская застройка и дорожные коридоры выделяются согласованно, тогда как сельскохозяйственные участки остаются тёмными. Модель различает застроенные поверхности и сельскохозяйственные угодья без каких-либо меток.
Заменив запрос на небольшой сельскохозяйственный участок, мы определяем вектор запроса как среднее значение векторов эмбеддингов на этом участке, а затем загружаем изображения Sentinel-2 в местоположениях с наибольшим и наименьшим сходством, чтобы увидеть, что модель считает похожим и непохожим.
Наиболее похожие участки (0,89 и выше) — это сельскохозяйственные территории с орошаемыми полями. Наименее похожие (около нуля) — аэропорт с окружающей оголённой почвой, водохранилище с сухой местностью и засушливое пастбище. Никаких обучающих данных и меток — только скалярное произведение в пространстве эмбеддингов.
Сегментация по небольшому числу примеров: разметка ландшафта
Поиск похожих объектов отвечает на вопрос «где находится что-то похожее на это?», но иногда нужны дискретные метки для всего региона. Поскольку представления уже содержат много информации, простой линейный классификатор может создать карту земного покрова для всей территории всего по нескольким размеченным пикселям.
Для проверки мы разметили всего 60 пикселей (по 20 на класс) в Камау, Вьетнам, прибрежном регионе мангровых лесов. Используя ESA WorldCover 2021 в качестве источника меток для трёх классов (мангровые леса, вода, прочее), мы случайным образом выбрали по 20 пикселей каждого класса, обучили логистическую регрессию со стандартизацией признаков и выполнили предсказание для каждого пикселя региона.
На основе 60 размеченных пикселей классификатор создаёт согласованную карту со значением взвешенного F1 = 0,84. Мангровые заросли, приливные каналы и открытая вода выделяются по всему региону. Классификатор быстро достигает насыщения: увеличение числа меток с 30 до 300 почти не меняет точность, поскольку основную работу выполняют эмбеддинги.
Основу анализа составляют несколько строк Python:
import rasterio
import numpy as np
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LogisticRegression
with rasterio.open("embeddings.tif") as ds:
emb = ds.read().astype(np.float32)
C, H, W = emb.shape
X = emb.reshape(C, -1).T
clf = make_pipeline(StandardScaler(), LogisticRegression(max_iter=2000))
clf.fit(X[train_idx], labels[train_idx])
prediction = clf.predict(X).reshape(H, W)
Это линейный пробник — стандартный метод оценки моделей-основ. Тот факт, что логистическая регрессия по 192 измерениям восстанавливает границы типов земного покрова по такому небольшому числу меток, означает, что энкодер Tiny сформировал эти экологические различия ещё на этапе предварительного обучения. Более крупные варианты (Base, 768 измерений) кодируют ещё более насыщенные представления.
Если у вас есть эталонные полигоны, точки полевых обследований или существующая карта низкого разрешения, вы можете обучить аналогичный классификатор и создать карту для всей территории собственного интересующего региона.
Обнаружение изменений: выявление произошедших сдвигов
Поскольку Studio может генерировать эмбеддинги с любым временным разрешением (от месячного до годового), можно напрямую сравнить два периода и определить, где изменились условия поверхности. Ниже мы вычислили месячные эмбеддинги Sentinel-2 для одного и того же региона в сентябре 2023 и сентябре 2024 года и измерили косинусное расстояние для каждого пикселя. След от пожара Park Fire (июль–сентябрь 2024 года) в округе Бьютт, Калифорния, сразу становится заметен.
Не нужны ни метки, ни обучение — только два COG с эмбеддингами и несколько строк Python.
Неконтролируемое исследование: что видит модель
Иногда у вас нет ни местоположения запроса, ни эталонных меток. Вы просто хотите понять, какая структура присутствует в эмбеддингах. Анализ главных компонент (PCA) — удобный способ сделать это: уменьшить размерность до трёх, сопоставить компоненты с R/G/B и отобразить их как изображение в ложных цветах. Похожие эмбеддинги автоматически получают похожие цвета.
Флеволанд в Нидерландах — это освоенный польдерный ландшафт с регулярной сеткой сельскохозяйственных участков. Изображение PCA в ложных цветах с высокой точностью воспроизводит эти границы. Разные типы культур, водоёмы и городские территории получают различные оттенки. Эмбеддинг усвоил структуру ландшафта, хотя ему никогда не сообщали, что такое участок или культура.
Такое неконтролируемое представление — быстрый способ увидеть, какую структуру модель уловила в вашем интересующем регионе.
От экспорта к выводам
Поиск похожих объектов, сегментация по небольшому числу примеров, обнаружение изменений и исследование с помощью PCA — это простые операции со стандартными растровыми данными, выполняющиеся за считанные секунды. Сила заключается в эмбеддингах: обученных представлениях, которые сжимают данные наблюдения Земли в векторы, содержащие богатую информацию о каждом местоположении, полученную из множества сенсоров и миллионов обучающих примеров.
Пользовательский экспорт эмбеддингов уже доступен. Создайте проект, настройте модель эмбеддингов и вычислите свои эмбеддинги. Экспортированный GeoTIFF работает с любым геопространственным инструментом: QGIS, GDAL, rasterio или вашими собственными скриптами. Полный код, воспроизводящий примеры из этой публикации, доступен в руководстве по эмбеддингам, которое содержит рабочий код для поиска похожих объектов, сегментации по небольшому числу примеров, обнаружения изменений и визуализации PCA. Чтобы попробовать всё на практике без локальной настройки, воспользуйтесь блокнотом Colab.
Дальнейшие шаги: дообучение
Во всех примерах этой публикации используются замороженные эмбеддинги без обучения под конкретную задачу. Эмбеддинги — отличный способ начать использовать OlmoEarth: они позволяют быстро и экономично получать результаты, хорошо работают в условиях ограниченных ресурсов и удобны для обмена. Для приложений, которым требуется более высокая производительность, OlmoEarth Studio также поддерживает SFT — обучение специализированной головки модели на собственных метках, которое обычно превосходит линейные пробники на замороженных признаках.
Ограничения
Хотя мы постоянно совершенствуем подходы к предварительному обучению, важно проверять качество эмбеддингов для вашего сценария использования с помощью некоторых описанных выше методов. Производительность также зависит от качества исходных изображений: постоянная облачность, атмосферные артефакты или отсутствие наблюдений в период формирования композита могут повлиять на итоговые векторы.
Изображения Sentinel-2 L2A Европейского космического агентства, полученные через Microsoft Planetary Computer. ESA WorldCover 2021 v200 использовался в качестве эталона для мангровых лесов. Для визуализации глобальной кластеризации использовалась модель OlmoEarth-v1-Base (768 измерений) с сезонными композитами Sentinel-2, размером патча 8 и эмбеддингами уровня экземпляров на основе 1,1 млн образцов предварительного обучения.
Коллекции, упомянутые в этой статье 1
Сообщество
· Зарегистрируйтесь или войдите, чтобы оставить комментарий
Коллекции, упомянутые в этой статье 1
Переведено автоматически с английского. Оригинал статьи — по ссылке ниже.