H Company представила мультимодальные энкодеры NeoMME с одной башней
H Company представила NeoMME — семейство двунаправленных мультимодальных энкодеров на 260M и 800M параметров для поиска по визуальным документам. Один Transformer обрабатывает многоязычные текстовые токены и необработанные RGB-изображения, разделённые на патчи 32×32. В архитектуре нет отдельно предобученной зрительной башни и каузального декодера. Обе модели поддерживают контекст длиной 16 384 токена и обучались со случайной инициализации.
NeoMME-Retriever добавляет к общей основе плотную и позднюю интеракционную головы. На ViDoRe v3 модель на 260M параметров получила 0.523 nDCG@10, а версия на 800M — 0.556. Результат младшей модели отличается на 0.002 от ColQwen2.5-v0.2 с 3.75B параметров. На одной NVIDIA L40S NeoMME-260M индексирует 51.3 страницы в секунду, а кодирование запроса занимает 78.3 мс на хосте только с CPU.
Контрольные точки доступны по лицензии Apache 2.0 и поддерживаются в Hugging Face Transformers. Иерархическое объединение токенов и квантизация в одной конфигурации уменьшают объём с примерно 1.5 MB до 6.0 kB на страницу. Авторы отмечают более слабые результаты в поиске по одному тексту; перенос на замороженные изображения природных сцен также остаётся ограничением.
Текст подготовлен ИИ Sakhanda Wire по материалу MarkTechPost. Факты, цитаты и полный контекст — в оригинальной статье ниже.