H Company представила одномодельні мультимодальні енкодери NeoMME
H Company представила NeoMME — сімейство двонапрямлених мультимодальних енкодерів на 260M і 800M параметрів для пошуку у візуальних документах. Один Transformer обробляє багатомовні текстові токени та необроблені RGB-зображення, розділені на патчі 32×32. Архітектура не має окремої попередньо навченої зорової вежі й каузального декодера. Обидві моделі підтримують контекст на 16 384 токени та навчалися з випадкової ініціалізації.
NeoMME-Retriever додає до спільної основи щільну голову й голову пізньої взаємодії. На ViDoRe v3 модель із 260M параметрів отримала 0.523 nDCG@10, а версія з 800M — 0.556. Результат меншої моделі відстає на 0.002 від ColQwen2.5-v0.2 із 3.75B параметрів. На одній NVIDIA L40S NeoMME-260M індексує 51.3 сторінки за секунду, а кодування запиту займає 78.3 мс на хості лише з CPU.
Контрольні точки доступні за ліцензією Apache 2.0 і підтримуються в Hugging Face Transformers. Ієрархічне об’єднання токенів і квантизація в одній конфігурації скорочують обсяг приблизно з 1.5 MB до 6.0 kB на сторінку. Автори вказують на слабші результати текстового пошуку; перенесення на заморожені зображення природних сцен також залишається обмеженням.
Текст підготовлено ШІ Sakhanda Wire за матеріалом MarkTechPost. Факти, цитати та повний контекст — в оригінальній статті нижче.