Sakhanda Wire
NVDA $153.59 -1.64% MSFT $507.00 -2.12% GOOGL $279.98 -1.32% META $619.94 -1.03% AMZN $256.62 -0.44%
← До новин

Відкритий бенчмарк робить оцінювання PDF-екстракції прозорішим

Datalab представила OmniExtractBench — відкритий бенчмарк для систем, що перетворюють PDF-документи на JSON. Він об’єднує 620 документів із чотирьох наявних наборів і порівнює результат із еталонним JSON для кожного окремого значення. Код доступний на GitHub за ліцензією Apache 2.0, а дані розміщені на Hugging Face за CC BY 4.0. Оцінювач опублікований у PyPI як omni-extract-bench v0.1.7 і підтримує Python 3.11 та новіші версії.

За задумом Datalab, бенчмарк має зменшити можливе упередження на користь розробника набору, зробити тестову інфраструктуру перевірюваною, пояснити низькі результати й охопити різноманітніші документи. Оцінювач перетворює прогноз і еталонний файл на адреси окремих значень та спершу нормалізує їх. Для таблиць рядки зіставляються за вмістом за допомогою угорського алгоритму, а не лише за позицією. Кожне значення отримує один із шести вердиктів, зокрема «збіг», «неправильно прочитано», «не знайдено» або «вигадано». Порожні рядки, None і пробіли вважаються пропусками.

Datalab перевірила 10 конфігурацій систем. Datalab accurate отримала точність 93.85, тоді як Datalab balanced і Reducto deep_extract v2 показали результати близько 93.5. Для повторного запуску тестів постачальників потрібні власні API-ключі та платні кредити.

Текст підготовлено ШІ Sakhanda Wire за матеріалом MarkTechPost. Факти, цитати та повний контекст — в оригінальній статті нижче.

Вперше опубліковано виданням MarkTechPost

Читати оригінал на MarkTechPost ↗

Репортаж і зображення належать MarkTechPost і зазначені вище з посиланням на оригінал; текст на цій сторінці — власний виклад Sakhanda Wire.

← До новин

Ще новини

Усі останні новини