Sakhanda Wire
NVDA $153.73 -1.54% MSFT $506.30 -2.26% GOOGL $280.09 -1.28% META $619.28 -1.14% AMZN $256.62 -0.44%
← К новостям

Google Research представила ускоренный диффузионный поиск по запросам

Google Research представила Retrieve-for-Train (R4T) — систему для формирования связных и разнообразных наборов результатов по широким запросам. Вместо последовательного создания похожих подзапросов она один раз обучает модель разветвления с подкреплением в офлайн-режиме. При оптимизации учитываются обоснованность, разнообразие и соответствие исходному запросу, после чего модель создает синтетические обучающие пары без ручной разметки.

Диффузионный трансформер на 53,9 млн параметров преобразует embedding запроса в полный набор целевых embedding-ов за один неавторегрессионный проход. Затем поиск ближайших соседей сопоставляет эти представления с объектами базы данных. Такой подход должен уменьшить парафразный коллапс, когда разные подзапросы приводят почти одинаковые результаты, и сократить задержку, связанную с последовательной генерацией и повторными вызовами поиска.

В экспериментах на Polyvore модель Gemma3-4B R4T-FOLM получила среднюю оценку OAR 49,1 против 40,9 у Best-of-N и 38,5 при генерации zero-shot. Показатель разнообразия составил 76,8, а у R4T-Diffusion — 74,3. На музыкальном наборе R4T-FOLM набрала 58,1 против 49,2 у Best-of-N. При размере пакета 8 диффузионная модель выполняла задачу за 0,07 секунды против 1,46 секунды, а при размере 1024 — за 4,21 секунды против почти 50 секунд. Авторы сообщают об ускорении в 12–20 раз.

Текст подготовлен ИИ Sakhanda Wire по материалу MarkTechPost. Факты, цитаты и полный контекст — в оригинальной статье ниже.

Впервые опубликовано изданием MarkTechPost

Читать оригинал на MarkTechPost ↗

Репортаж и изображение принадлежат MarkTechPost и указаны выше со ссылкой на оригинал; текст на этой странице — собственное изложение Sakhanda Wire.

← К новостям

Ещё новости

Все последние новости