Datalab пусна OmniParseBench: отворен OCR бенчмарк с 16 288 теста „да/не“ за одит на OCR парсери

Datalab пусна OmniParseBench — отворен OCR бенчмарк за парсери на документи. Той оценява парсерите с 16 288 теста с отговор „да/не“ върху 2 937 страници от 2 343 документа. Страниците обхващат 92 езика. Наборът от данни и кодът са публични. Той помага на инженерите да отговорят на по-точен въпрос от този на класацията: кой парсер работи с документи като моите? Datalab продава парсер, а собствената му настройка Datalab accurate заема второ място в стартовата класация, след Gemini 3.8 Flash.

Може ли да се внедри? Да. OmniParseBench е тестова рамка, а не модел. Инсталира се с uv pip install omni-parse-bench, изисква Python 3.11+ и оценява резултатите офлайн, без API ключове.

Накратко

• Размер: 16 288 теста, 2 937 страници, 2 343 документа, 22 набора, 92 езика.
• Работи на: всяка машина с Python 3.11+. Оценяването не изисква мрежа. За изпълненията на доставчиците е необходим API ключът на съответния доставчик.
• Производителност: трите водещи докладвани системи са в рамките на 1,3 пункта по основния показател.
• Най-добър: Gemini 3.8 Flash води с 92,9; Datalab accurate следва с 92,7.*
• Извод: всеки резултат представлява дял от тестовете, преминати успешно или непреминати, който може да се филтрира по етикет.

* използван при създаването на някои тестове

Какво представлява OmniParseBench?

OmniParseBench е бенчмарк за парсинг на документи от Datalab, при който всеки тест е въпрос с отговор „да/не“ за 1 страница. Резултатът на даден парсер е делът на тестовете, които е преминал успешно. Datalab го е създал така, че да бъде ясен, проверим и удобен за изследване.

Защо да се създава още един OCR бенчмарк?

Datalab посочва два проблема със съществуващите бенчмаркове. olmOCR-bench показа, че модулните тестове с резултат „преминат/непреминат“ работят. Сега Datalab го определя като наситен. Според компанията водещите системи се различават по конвенциите за изхода и по свръхнапасването, а не по способността си да четат. Всеки тест в olmOCR-bench също попада само в 1 категория, определена от източника на страницата. Ръкописна таблица се осреднява в категорията, в която е попаднала страницата ѝ.

ParseBench от LlamaIndex разделя парсинга на 5 способности, всяка със собствен показател. Datalab твърди, че тези резултати нямат обща мерна единица, поради което не могат да бъдат сравнени или комбинирани по надежден начин.

Как работи оценяването в OmniParseBench?

Крайният резултат е средната стойност на 3 групови резултата: текст, таблици и оформление. Тези групи се захранват от пет типа тестове:

• present: появява се текст, число или уравнение (текст)
• order: текст A се появява преди текст B (текст)
• repeat: даден ред се появява точно N пъти (текст)
• table_cell: клетка се намира под посочени заглавия и до посочени съседни клетки (таблици)
• layout_kind: блокът, съдържащ даден ред, е заглавие, текст или таблица (оформление)

Числата трябва да съвпадат цифра по цифра, макар че 1,240 съвпада с 1240. Уравненията се сравняват според начина, по който KaTeX ги визуализира, така че \frac{a}{b} е равно на \dfrac{a}{b}. Всяко решение е „преминато“, „непреминато“, „неподдържано“ или „грешка“. Последните 2 категории се изключват от всеки резултат. Нито един модел не оценява изходите; кодът за оценяване е отворен.

Какво добавят етикетите и произходът на тестовете?

Всеки тест проверява един или повече аргументи, като всеки от тях е съдържанието на едно място на страницата. Всеки аргумент носи етикети по 5 оси: структура, визуализация, роля, писменост и език. Писменостите използват кодове по ISO 15924; езиците използват кодове по ISO 639-3. Етикетите никога не определят присъдата или основния резултат. Те само избират тестове, така че всеки срез получава собствен резултат.

Етикетът за таблици обхваща 6 767 теста върху 1 000 страници от 875 документа. Английският обхваща 10 089 теста. Неанглийските езици обхващат 1 931 теста върху 529 страници от 321 документа.

Всеки тест също така записва произхода си, тоест как е установен отговорът му. Съществуват 10 начина за установяване на произхода. Те включват JATS XML от издатели, текстовия слой на PDF файла, създадени страници, тестове от olmOCR-bench, панели с модели и човешка проверка.

Какви са стартовите резултати на OmniParseBench?

*Използван при създаването и проверката на поне някои тестове според Datalab.

Claude Sonnet 5.5 постига най-високите резултати при текста (93,1) и таблиците (95,4). Резултатът му при оформлението от 77,5 сваля основния му резултат до 88,7. Reducto води при оформлението с 95,8. Datalab също така представя всеки основен резултат спрямо медианната латентност и цената за 1 000 страници. Латентността е измерена върху 200 избрани страници, изпращани по 8 наведнъж.

Datalab не оглавява собствения си бенчмарк. Компанията отбелязва двата модела, помогнали за създаването на тестовете, и казва на читателите да вземат предвид факта, че продава парсер. Тя се ангажира да публикува резултатите от OmniParseBench при бъдещи издания. Съветът ѝ е: най-добрият бенчмарк са собствените ви документи.

Как да стартирате OmniParseBench?

uv pip install omni-parse-bench                 # score(): без мрежа, без API ключове
uv pip install 'omni-parse-bench[harness]'      # + адаптери за доставчици, за прогнозиране
uv pip install 'omni-parse-bench[benchmark]'    # + достъп до набора от данни, за изпълнение на бенчмарка
opb benchmark --out runs/ --limit 5 --providers datalab openai/gpt-5.6-sol

Доставчиците се нуждаят от ключове като DATALAB_API_KEY или OPENROUTER_API_KEY. CLI показва плана си и пита за потвърждение, преди да извика който и да е доставчик. Изпълненията могат да бъдат възобновявани. Ръководството за заявки показва как да сравнявате изпълнения по етикет, набор или тип тест.

OmniParseBench срещу olmOCR-bench срещу ParseBench срещу OmniDocBench

Основни изводи

• 16 288 теста с отговор „да/не“ върху 2 937 страници на 92 езика.
• Основен резултат = средната стойност на процентите преминати тестове за текст, таблици и оформление.
• Етикетите разделят резултатите; те никога не променят присъдата.
• Datalab го е създала и заема второ място: Gemini 3.8 Flash 92,9*, Datalab accurate 92,7.
• Код с лиценз Apache 2.0; оценяването се изпълнява офлайн без API ключове.

* използван при създаването на някои тестове

Разгледайте публикацията в блога, набора от данни и GitHub хранилището.

_{Благодарим на екипа на Datalab за ресурсите зад тази статия. Datalab подкрепи и спонсорира това съдържание.}