Новый тест OCR оценивает качество данных для языковых моделей
Проект FineBooks, совместная инициатива Hugging Face и EleutherAI, проверил 14 OCR-моделей с открытыми весами на 2 165 страницах исторических книг. Сравнение проводилось с экспертными расшифровками на английском, французском, немецком и латинском языках; главным показателем была точность распознавания символов.
Лучший результат показала dots.mocr: 97,6% точности при расчетной стоимости $1,94 за 1 000 страниц. Второй стала OvisOCR2 с точностью 96,9%; модель использует 0,9 млрд параметров и стоит $0,46 за 1 000 страниц. Итоги не выявили прямой зависимости между размером модели и качеством распознавания исторических документов.
Авторы проекта считают, что лучшие системы уже создают текст, пригодный для обучения языковых моделей, и могут помочь улучшить крупные собрания книг, находящихся в общественном достоянии. Команда планирует повторно обработать около 200 000 документов Biodiversity Heritage Library и выпустить результат как открытый набор данных. При этом тестирование охватило только одноколоночные страницы с антиквой; фрактура, рукописные материалы и нелатинские письменности не проверялись.
Для научной транскрипции модели пока недостаточно точны. Они могут незаметно заменять исторические символы и лигатуры современными вариантами, а их вывод в виде обычного текста или Markdown не содержит координат слов, необходимых существующим библиотечным системам.
Текст подготовлен ИИ Sakhanda Wire по материалу The Decoder. Факты, цитаты и полный контекст — в оригинальной статье ниже.