Новий тест OCR оцінює дані для навчання мовних моделей
Проєкт FineBooks, спільна ініціатива Hugging Face та EleutherAI, перевірив 14 OCR-моделей із відкритими вагами на 2 165 сторінках історичних книжок. Оцінювання проводили за експертними транскрипціями англійською, французькою, німецькою та латинською мовами, використовуючи точність розпізнавання символів як основний показник.
Найкращий результат показала dots.mocr: 97,6% точності за розрахункової вартості $1,94 на 1 000 сторінок. Друге місце посіла OvisOCR2 із точністю 96,9%; вона має 0,9 млрд параметрів і коштує $0,46 на 1 000 сторінок. Результати не засвідчили прямого зв’язку між розміром моделі та якістю розпізнавання історичних документів.
Автори проєкту вважають, що найкращі системи вже створюють текст, придатний для навчання мовних моделей, і можуть покращити великі колекції книжок у суспільному надбанні. Команда планує повторно обробити близько 200 000 документів Biodiversity Heritage Library та оприлюднити результат як відкритий набір даних. Водночас тест охоплював лише одноколонкові сторінки зі шрифтом антиква, без фрактури, рукописів і нелатинських писемностей.
Для наукової транскрипції моделі поки що недостатньо точні. Вони можуть непомітно замінювати історичні символи й лігатури сучасними відповідниками, а вихід у форматі звичайного тексту чи Markdown не містить координат слів, потрібних наявним бібліотечним системам.
Текст підготовлено ШІ Sakhanda Wire за матеріалом The Decoder. Факти, цитати та повний контекст — в оригінальній статті нижче.