Sakhanda Wire
NVDA $153.26 -1.85% MSFT $506.01 -2.31% GOOGL $280.39 -1.17% META $620.55 -0.94% AMZN $257.19 -0.22%
← К новостям

Новый тест OCR оценивает качество данных для языковых моделей

Проект FineBooks, совместная инициатива Hugging Face и EleutherAI, проверил 14 OCR-моделей с открытыми весами на 2 165 страницах исторических книг. Сравнение проводилось с экспертными расшифровками на английском, французском, немецком и латинском языках; главным показателем была точность распознавания символов.

Лучший результат показала dots.mocr: 97,6% точности при расчетной стоимости $1,94 за 1 000 страниц. Второй стала OvisOCR2 с точностью 96,9%; модель использует 0,9 млрд параметров и стоит $0,46 за 1 000 страниц. Итоги не выявили прямой зависимости между размером модели и качеством распознавания исторических документов.

Авторы проекта считают, что лучшие системы уже создают текст, пригодный для обучения языковых моделей, и могут помочь улучшить крупные собрания книг, находящихся в общественном достоянии. Команда планирует повторно обработать около 200 000 документов Biodiversity Heritage Library и выпустить результат как открытый набор данных. При этом тестирование охватило только одноколоночные страницы с антиквой; фрактура, рукописные материалы и нелатинские письменности не проверялись.

Для научной транскрипции модели пока недостаточно точны. Они могут незаметно заменять исторические символы и лигатуры современными вариантами, а их вывод в виде обычного текста или Markdown не содержит координат слов, необходимых существующим библиотечным системам.

Текст подготовлен ИИ Sakhanda Wire по материалу The Decoder. Факты, цитаты и полный контекст — в оригинальной статье ниже.

Впервые опубликовано изданием The Decoder

Читать оригинал на The Decoder ↗

Репортаж и изображение принадлежат The Decoder и указаны выше со ссылкой на оригинал; текст на этой странице — собственное изложение Sakhanda Wire.

← К новостям

Ещё новости

Все последние новости