Sakhanda Wire
NVDA $153.26 -1.85% MSFT $506.01 -2.31% GOOGL $280.39 -1.17% META $620.55 -0.94% AMZN $257.19 -0.22%
← Към новините

Нов тест оценява OCR модели за по-чисти данни за езикови модели

Проектът FineBooks, съвместна инициатива на Hugging Face и EleutherAI, оцени 14 OCR модела с отворени тегла върху 2 165 страници от исторически книги. Проверката използва експертни транскрипции на английски, френски, немски и латински език, като основният показател беше точността на разпознаване на символи.

Най-добре се представи dots.mocr с 97,6% точност и изчислена цена от 1,94 щатски долара на 1 000 страници. OvisOCR2 зае второ място с 96,9% точност, 0,9 милиарда параметри и цена от 0,46 долара на 1 000 страници. Резултатите не показват пряка връзка между размера на модела и качеството при исторически документи.

Според изследователите водещите модели дават достатъчно добър текст за обучение на езикови модели и могат да подобрят големи колекции от книги в обществено достояние. Екипът планира да обработи повторно около 200 000 документа от Biodiversity Heritage Library и да публикува текста като отворен набор от данни. Оценката обаче обхваща само едноколонни страници с антиква и не включва фрактура, ръкописи или нелатински писмености.

Моделите все още не са подходящи за научни транскрипции. Те могат незабелязано да осъвременяват исторически знаци и лигатури, а изходът им във вид на обикновен текст или Markdown не съдържа координатите на думите, нужни на библиотечните системи.

Текстът е изготвен от ИИ на Sakhanda Wire по материал на The Decoder. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.

Първоначално публикувано от The Decoder на

Прочетете оригинала в The Decoder ↗

Репортажът и изображението принадлежат на The Decoder и са посочени по-горе с връзка към оригинала; текстът на тази страница е собствено изложение на Sakhanda Wire.

← Към новините

Още новини

Всички последни новини