Sakhanda Wire
NVDA $153.73 -1.54% MSFT $506.30 -2.26% GOOGL $280.09 -1.28% META $619.28 -1.14% AMZN $256.62 -0.44%
← Към новините

Google Research представи по-бързо дифузионно разклоняване на заявки

Google Research представи Retrieve-for-Train (R4T) — рамка за търсене, която създава свързани и разнообразни набори от резултати при широки заявки. Вместо последователно да генерира сходни подзаявки, системата използва обучение с подсилване офлайн, за да обучи езиков модел за разклоняване. Оптимизацията отчита обоснованост, разнообразие и съответствие, а полученият модел генерира синтетични обучаващи двойки без човешки етикети.

Дифузионен трансформър с 53,9 милиона параметъра се научава да преобразува embedding на заявка в пълен набор от целеви embedding-и с един неавторегресивен проход. Търсене по най-близък съсед свързва тези представяния с елементи от базата данни. Целта е да се ограничи сривът към парафрази, при който подзаявките извличат почти еднакви резултати, и да се намали забавянето от многократното авторегресивно генериране и извличане.

В експериментите с Polyvore Gemma3-4B R4T-FOLM получава средна оценка OAR 49,1, спрямо 40,9 за Best-of-N и 38,5 при zero-shot генериране. Оценката за разнообразие е 76,8, а за R4T-Diffusion — 74,3. При музикалния набор резултатите са 58,1 срещу 49,2 за Best-of-N. При размер на пакета 8 дифузионният модел работи за 0,07 секунди срещу 1,46 секунди, а при 1024 — за 4,21 секунди срещу почти 50 секунди. Изследователите съобщават ускорение от 12× до 20×.

Текстът е изготвен от ИИ на Sakhanda Wire по материал на MarkTechPost. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.

Първоначално публикувано от MarkTechPost на

Прочетете оригинала в MarkTechPost ↗

Репортажът и изображението принадлежат на MarkTechPost и са посочени по-горе с връзка към оригинала; текстът на тази страница е собствено изложение на Sakhanda Wire.

← Към новините

Още новини

Всички последни новини