Открытый бенчмарк повышает прозрачность извлечения данных из PDF
Компания Datalab представила OmniExtractBench — открытый бенчмарк для систем, преобразующих PDF-документы в JSON. В него вошли 620 документов из четырех существующих наборов данных. Результаты сравниваются с эталонным JSON по отдельным значениям. Код опубликован на GitHub по лицензии Apache 2.0, а данные размещены на Hugging Face по CC BY 4.0. Оценщик доступен в PyPI как omni-extract-bench v0.1.7 и работает с Python 3.11 и новее.
По словам Datalab, инструмент призван уменьшить влияние разработчика бенчмарка на результат, сделать тестовую среду проверяемой, объяснить отдельные оценки и расширить набор типов документов. Оценщик преобразует предсказания и эталонные файлы в адреса отдельных значений и предварительно нормализует их. Для таблиц он сопоставляет строки по содержанию с помощью венгерского алгоритма, поэтому пропуск строки не сдвигает все последующие сравнения. Каждому значению присваивается один из шести вердиктов, включая совпадение, ошибочное чтение, отсутствие и выдуманное значение. Пустые строки, None и пробелы считаются пропусками.
Datalab проверила 10 конфигураций систем. Показатель Datalab accurate составил 93.85, а Datalab balanced и Reducto deep_extract v2 получили результаты около 93.5. Для повторения тестов поставщиков нужны собственные API-ключи и оплаченные кредиты.
Текст подготовлен ИИ Sakhanda Wire по материалу MarkTechPost. Факты, цитаты и полный контекст — в оригинальной статье ниже.