H Company представи еднокуловите мултимодални енкодери NeoMME
H Company представи NeoMME — семейство от двупосочни мултимодални енкодери с 260M и 800M параметъра за търсене във визуални документи. Един Transformer обработва едновременно многоезични текстови токени и необработени RGB изображения, разделени на пачове 32×32. Архитектурата няма отделна предварително обучена зрителна кула и каузален декодер. И двата модела поддържат контекст от 16 384 токена и са обучени от случайна инициализация.
NeoMME-Retriever добавя към общия гръбнак плътен head и head за късно взаимодействие. На ViDoRe v3 моделът с 260M параметъра постига 0.523 nDCG@10, а версията с 800M — 0.556. По-малкият модел е на 0.002 от ColQwen2.5-v0.2, който има 3.75B параметъра. На една NVIDIA L40S NeoMME-260M индексира 51.3 страници в секунда, а кодирането на заявка отнема 78.3 ms на хост само с CPU.
Контролните точки се разпространяват под Apache 2.0 и се поддържат от Hugging Face Transformers. Йерархичното обединяване на токени и квантизацията намаляват размера от около 1.5 MB до 6.0 kB на страница при една конфигурация. Според авторите текстовото търсене остава по-слабо, а пренасянето към замразени естествени изображения е друга ясна слабост.
Текстът е изготвен от ИИ на Sakhanda Wire по материал на MarkTechPost. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.