Sakhanda Wire
NVDA $152.58 -2.28% MSFT $506.11 -2.29% GOOGL $279.81 -1.38% META $619.07 -1.17% AMZN $256.55 -0.47%
← До новин

H Company представила одномодельні мультимодальні енкодери NeoMME

H Company представила NeoMME — сімейство двонапрямлених мультимодальних енкодерів на 260M і 800M параметрів для пошуку у візуальних документах. Один Transformer обробляє багатомовні текстові токени та необроблені RGB-зображення, розділені на патчі 32×32. Архітектура не має окремої попередньо навченої зорової вежі й каузального декодера. Обидві моделі підтримують контекст на 16 384 токени та навчалися з випадкової ініціалізації.

NeoMME-Retriever додає до спільної основи щільну голову й голову пізньої взаємодії. На ViDoRe v3 модель із 260M параметрів отримала 0.523 nDCG@10, а версія з 800M — 0.556. Результат меншої моделі відстає на 0.002 від ColQwen2.5-v0.2 із 3.75B параметрів. На одній NVIDIA L40S NeoMME-260M індексує 51.3 сторінки за секунду, а кодування запиту займає 78.3 мс на хості лише з CPU.

Контрольні точки доступні за ліцензією Apache 2.0 і підтримуються в Hugging Face Transformers. Ієрархічне об’єднання токенів і квантизація в одній конфігурації скорочують обсяг приблизно з 1.5 MB до 6.0 kB на сторінку. Автори вказують на слабші результати текстового пошуку; перенесення на заморожені зображення природних сцен також залишається обмеженням.

Текст підготовлено ШІ Sakhanda Wire за матеріалом MarkTechPost. Факти, цитати та повний контекст — в оригінальній статті нижче.

Вперше опубліковано виданням MarkTechPost

Читати оригінал на MarkTechPost ↗

Репортаж і зображення належать MarkTechPost і зазначені вище з посиланням на оригінал; текст на цій сторінці — власний виклад Sakhanda Wire.

← До новин

Ще новини

Усі останні новини