NeoMME представя компактни многоезични мултимодални енкодери
Hugging Face представи NeoMME — семейство от многоезични мултимодални енкодери с 260M и 800M параметъра. За разлика от архитектурите, които съчетават предварително обучен зрителен модул с каузален езиков модел, NeoMME използва един двупосочен Transformer за текстови токени и необработени изображения, разделени на пачове 32×32. Моделите са обучени от нулата с цел за маскирана дискретна дифузия и обработват текст, код, математика и документни изображения.
Версията NeoMME-Retriever е дообучена за визуално търсене в документи. Тя разглежда страниците като изображения, без необходимите при традиционните подходи OCR стъпки, и създава плътни и late-interaction представяния при едно преминаване през модела. Във ViDoRe v3 моделът с 260M параметъра достига 0.523 nDCG@10, а този с 800M — 0.556. Според статията и двата са на фронтира на Парето за качество спрямо размер.
При изображения 2048×2048 на NVIDIA L40S NeoMME-Retriever-260M кодира около 51 страници в секунда. Комбинация от йерархично обединяване на токени и асиметрично квантуване намалява съхранението от около 1.5 MB до 6 kB на страница в тествана конфигурация, като запазва над 95% от базовия nDCG@10. Моделите са налични в Hugging Face Transformers с лиценз Apache 2.0.
Текстът е изготвен от ИИ на Sakhanda Wire по материал на Hugging Face. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.