NeoMME представила компактные мультимодальные энкодеры
Hugging Face представила NeoMME — семейство многоязычных мультимодальных энкодеров на 260M и 800M параметров. В отличие от архитектур, объединяющих предварительно обученный зрительный модуль с каузальной языковой моделью, NeoMME использует один двунаправленный Transformer для текстовых токенов и необработанных изображений, разделённых на патчи 32×32. Модели обучались с нуля с помощью цели маскированной дискретной диффузии и работают с текстом, кодом, математикой и изображениями документов.
Версия NeoMME-Retriever дообучена для визуального поиска по документам. Она рассматривает страницы как изображения, обходясь без этапов OCR, необходимых традиционному текстовому поиску, и за один проход создаёт плотные и late-interaction-представления. На ViDoRe v3 модель на 260M параметров получила 0.523 nDCG@10, а модель на 800M — 0.556. В статье утверждается, что обе модели находятся на фронтире Парето по качеству и размеру.
При размере изображения 2048×2048 на NVIDIA L40S NeoMME-Retriever-260M кодирует около 51 страницы в секунду. Иерархическое объединение токенов и асимметричное квантование в одном из вариантов сократили объём хранения с примерно 1.5 MB до 6 kB на страницу, сохранив более 95% базового nDCG@10. Модели доступны в Hugging Face Transformers по лицензии Apache 2.0.
Текст подготовлен ИИ Sakhanda Wire по материалу Hugging Face. Факты, цитаты и полный контекст — в оригинальной статье ниже.