NeoMME представила компактні мультимодальні енкодери
Hugging Face представила NeoMME — сімейство багатомовних мультимодальних енкодерів на 260M і 800M параметрів. На відміну від архітектур із попередньо навченою системою зору та каузальною мовною моделлю, NeoMME використовує один двонапрямлений Transformer для текстових токенів і необроблених зображень, розділених на патчі 32×32. Моделі навчали з нуля за допомогою цілі маскованої дискретної дифузії; до навчальних даних увійшли тексти, код, математика та зображення документів.
Версію NeoMME-Retriever донавчили для візуального пошуку документів. Вона обробляє сторінки як зображення, обходячись без OCR-попередньої обробки, і за один прохід формує щільні та late-interaction-представлення. На ViDoRe v3 модель із 260M параметрів отримала 0.523 nDCG@10, а модель із 800M — 0.556. Як зазначено в статті, обидві моделі перебувають на фронтирі Парето за якістю та розміром.
За роздільності 2048×2048 на NVIDIA L40S NeoMME-Retriever-260M кодує близько 51 сторінки за секунду. Ієрархічне об’єднання токенів і асиметричне квантування в одному з варіантів зменшили обсяг сховища приблизно з 1.5 MB до 6 kB на сторінку, зберігши понад 95% базового nDCG@10. Моделі доступні в Hugging Face Transformers за ліцензією Apache 2.0.
Текст підготовлено ШІ Sakhanda Wire за матеріалом Hugging Face. Факти, цитати та повний контекст — в оригінальній статті нижче.