Sakhanda Wire
NVDA $153.59 -1.64% MSFT $507.00 -2.12% GOOGL $279.98 -1.32% META $619.94 -1.03% AMZN $256.62 -0.44%
← К новостям

Открытый бенчмарк повышает прозрачность извлечения данных из PDF

Компания Datalab представила OmniExtractBench — открытый бенчмарк для систем, преобразующих PDF-документы в JSON. В него вошли 620 документов из четырех существующих наборов данных. Результаты сравниваются с эталонным JSON по отдельным значениям. Код опубликован на GitHub по лицензии Apache 2.0, а данные размещены на Hugging Face по CC BY 4.0. Оценщик доступен в PyPI как omni-extract-bench v0.1.7 и работает с Python 3.11 и новее.

По словам Datalab, инструмент призван уменьшить влияние разработчика бенчмарка на результат, сделать тестовую среду проверяемой, объяснить отдельные оценки и расширить набор типов документов. Оценщик преобразует предсказания и эталонные файлы в адреса отдельных значений и предварительно нормализует их. Для таблиц он сопоставляет строки по содержанию с помощью венгерского алгоритма, поэтому пропуск строки не сдвигает все последующие сравнения. Каждому значению присваивается один из шести вердиктов, включая совпадение, ошибочное чтение, отсутствие и выдуманное значение. Пустые строки, None и пробелы считаются пропусками.

Datalab проверила 10 конфигураций систем. Показатель Datalab accurate составил 93.85, а Datalab balanced и Reducto deep_extract v2 получили результаты около 93.5. Для повторения тестов поставщиков нужны собственные API-ключи и оплаченные кредиты.

Текст подготовлен ИИ Sakhanda Wire по материалу MarkTechPost. Факты, цитаты и полный контекст — в оригинальной статье ниже.

Впервые опубликовано изданием MarkTechPost

Читать оригинал на MarkTechPost ↗

Репортаж и изображение принадлежат MarkTechPost и указаны выше со ссылкой на оригинал; текст на этой странице — собственное изложение Sakhanda Wire.

← К новостям

Ещё новости

Все последние новости