Sakhanda Wire
NVDA $153.73 -1.54% MSFT $506.30 -2.26% GOOGL $280.09 -1.28% META $619.28 -1.14% AMZN $256.62 -0.44%
← Към новините

NeoMME представя компактни многоезични мултимодални енкодери

Hugging Face представи NeoMME — семейство от многоезични мултимодални енкодери с 260M и 800M параметъра. За разлика от архитектурите, които съчетават предварително обучен зрителен модул с каузален езиков модел, NeoMME използва един двупосочен Transformer за текстови токени и необработени изображения, разделени на пачове 32×32. Моделите са обучени от нулата с цел за маскирана дискретна дифузия и обработват текст, код, математика и документни изображения.

Версията NeoMME-Retriever е дообучена за визуално търсене в документи. Тя разглежда страниците като изображения, без необходимите при традиционните подходи OCR стъпки, и създава плътни и late-interaction представяния при едно преминаване през модела. Във ViDoRe v3 моделът с 260M параметъра достига 0.523 nDCG@10, а този с 800M — 0.556. Според статията и двата са на фронтира на Парето за качество спрямо размер.

При изображения 2048×2048 на NVIDIA L40S NeoMME-Retriever-260M кодира около 51 страници в секунда. Комбинация от йерархично обединяване на токени и асиметрично квантуване намалява съхранението от около 1.5 MB до 6 kB на страница в тествана конфигурация, като запазва над 95% от базовия nDCG@10. Моделите са налични в Hugging Face Transformers с лиценз Apache 2.0.

Текстът е изготвен от ИИ на Sakhanda Wire по материал на Hugging Face. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.

Първоначално публикувано от Hugging Face на

Прочетете оригинала в Hugging Face ↗

Репортажът и изображението принадлежат на Hugging Face и са посочени по-горе с връзка към оригинала; текстът на тази страница е собствено изложение на Sakhanda Wire.

← Към новините

Още новини

Всички последни новини