Google Research представила швидше дифузійне розгалуження запитів
Google Research представила Retrieve-for-Train (R4T) — систему для формування узгоджених і різноманітних наборів результатів за широкими запитами. Замість послідовного створення схожих підзапитів вона один раз навчає модель розгалуження за допомогою підкріплювального навчання в офлайн-режимі. Під час оптимізації враховуються обґрунтованість, різноманітність і відповідність початковому запиту, а потім модель створює синтетичні навчальні пари без людської розмітки.
Дифузійний трансформер із 53,9 млн параметрів перетворює embedding запиту на повний набір цільових embedding-ів за один неавторегресійний прохід. Пошук найближчих сусідів зіставляє ці представлення з елементами бази даних. Такий підхід має зменшити парафразний колапс, за якого різні підзапити дають майже однакові результати, і скоротити затримку від послідовної генерації та повторних пошукових викликів.
У дослідах на Polyvore Gemma3-4B R4T-FOLM отримала середню оцінку OAR 49,1 проти 40,9 у Best-of-N і 38,5 за zero-shot-генерації. Показник різноманітності становив 76,8, а для R4T-Diffusion — 74,3. На музичному наборі R4T-FOLM набрала 58,1 проти 49,2 у Best-of-N. За розміру пакета 8 дифузійна модель працювала 0,07 секунди проти 1,46 секунди, а за розміру 1024 — 4,21 секунди проти майже 50 секунд. Дослідники повідомляють про прискорення у 12–20 разів.
Текст підготовлено ШІ Sakhanda Wire за матеріалом MarkTechPost. Факти, цитати та повний контекст — в оригінальній статті нижче.