Нов бенчмарк цели по-прозрачна оценка на извличането от PDF
Datalab представи OmniExtractBench — отворен бенчмарк за системи, които преобразуват PDF документи в JSON. Той обединява 620 документа от четири съществуващи набора и сравнява резултата с референтен файл за всяка отделна стойност. Кодът е публикуван в GitHub под Apache 2.0, а данните са в Hugging Face под CC BY 4.0. Оценителят се инсталира от PyPI като omni-extract-bench v0.1.7 и изисква Python 3.11 или по-нова версия.
Според Datalab инструментът адресира възможно пристрастие към създателя на даден бенчмарк, непрозрачни тестови среди, неясни оценки и ограничено разнообразие от документи. Софтуерът преобразува JSON резултатите в адреси на отделни стойности и ги нормализира преди сравнението. При таблици редовете се съпоставят по съдържание чрез унгарския алгоритъм, а не само по позиция. Всяка стойност получава един от шест вида присъда, сред които „съвпада“, „грешно разчетена“, „ненамерена“ и „измислена“. Празни низове, None и интервали се считат за пропуски.
Datalab е тествала 10 конфигурации. Datalab accurate е постигнала точност 93.85, а Datalab balanced и Reducto deep_extract v2 са близо до 93.5. Повторното тестване на доставчици изисква собствени API ключове и платени кредити.
Текстът е изготвен от ИИ на Sakhanda Wire по материал на MarkTechPost. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.