Sakhanda Wire
NVDA $153.73 -1.54% MSFT $506.30 -2.26% GOOGL $280.09 -1.28% META $619.28 -1.14% AMZN $256.62 -0.44%
← До новин

NeoMME представила компактні мультимодальні енкодери

Hugging Face представила NeoMME — сімейство багатомовних мультимодальних енкодерів на 260M і 800M параметрів. На відміну від архітектур із попередньо навченою системою зору та каузальною мовною моделлю, NeoMME використовує один двонапрямлений Transformer для текстових токенів і необроблених зображень, розділених на патчі 32×32. Моделі навчали з нуля за допомогою цілі маскованої дискретної дифузії; до навчальних даних увійшли тексти, код, математика та зображення документів.

Версію NeoMME-Retriever донавчили для візуального пошуку документів. Вона обробляє сторінки як зображення, обходячись без OCR-попередньої обробки, і за один прохід формує щільні та late-interaction-представлення. На ViDoRe v3 модель із 260M параметрів отримала 0.523 nDCG@10, а модель із 800M — 0.556. Як зазначено в статті, обидві моделі перебувають на фронтирі Парето за якістю та розміром.

За роздільності 2048×2048 на NVIDIA L40S NeoMME-Retriever-260M кодує близько 51 сторінки за секунду. Ієрархічне об’єднання токенів і асиметричне квантування в одному з варіантів зменшили обсяг сховища приблизно з 1.5 MB до 6 kB на сторінку, зберігши понад 95% базового nDCG@10. Моделі доступні в Hugging Face Transformers за ліцензією Apache 2.0.

Текст підготовлено ШІ Sakhanda Wire за матеріалом Hugging Face. Факти, цитати та повний контекст — в оригінальній статті нижче.

Вперше опубліковано виданням Hugging Face

Читати оригінал на Hugging Face ↗

Репортаж і зображення належать Hugging Face і зазначені вище з посиланням на оригінал; текст на цій сторінці — власний виклад Sakhanda Wire.

← До новин

Ще новини

Усі останні новини