Sakhanda Wire
NVDA $153.59 -1.64% MSFT $507.00 -2.12% GOOGL $279.98 -1.32% META $619.94 -1.03% AMZN $256.62 -0.44%
← Към новините

Нов бенчмарк цели по-прозрачна оценка на извличането от PDF

Datalab представи OmniExtractBench — отворен бенчмарк за системи, които преобразуват PDF документи в JSON. Той обединява 620 документа от четири съществуващи набора и сравнява резултата с референтен файл за всяка отделна стойност. Кодът е публикуван в GitHub под Apache 2.0, а данните са в Hugging Face под CC BY 4.0. Оценителят се инсталира от PyPI като omni-extract-bench v0.1.7 и изисква Python 3.11 или по-нова версия.

Според Datalab инструментът адресира възможно пристрастие към създателя на даден бенчмарк, непрозрачни тестови среди, неясни оценки и ограничено разнообразие от документи. Софтуерът преобразува JSON резултатите в адреси на отделни стойности и ги нормализира преди сравнението. При таблици редовете се съпоставят по съдържание чрез унгарския алгоритъм, а не само по позиция. Всяка стойност получава един от шест вида присъда, сред които „съвпада“, „грешно разчетена“, „ненамерена“ и „измислена“. Празни низове, None и интервали се считат за пропуски.

Datalab е тествала 10 конфигурации. Datalab accurate е постигнала точност 93.85, а Datalab balanced и Reducto deep_extract v2 са близо до 93.5. Повторното тестване на доставчици изисква собствени API ключове и платени кредити.

Текстът е изготвен от ИИ на Sakhanda Wire по материал на MarkTechPost. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.

Първоначално публикувано от MarkTechPost на

Прочетете оригинала в MarkTechPost ↗

Репортажът и изображението принадлежат на MarkTechPost и са посочени по-горе с връзка към оригинала; текстът на тази страница е собствено изложение на Sakhanda Wire.

← Към новините

Още новини

Всички последни новини