Tokenizers v1 демонструє значне прискорення кодування
Кандидат на випуск tokenizers v1 має покращити масштабування обробки тексту в завданнях машинного навчання. Тести для десяти сімейств моделей показали, що кодування в один потік на Apple M4 Max працює у 3–30 разів швидше, ніж у v0.23. Для восьми виконавців масштабування становило 76% від лінійного, йдеться в описі вимірювань.
Нова версія зберігає словник, ранги злиття, API та ідентифікатори токенів із v0.23, тому однаковий текст має давати ті самі результати. Бібліотека й надалі підтримує моделі BPE, WordPiece і Unigram. Серед змін — SIMD-операції над бітовими потоками замість регулярного виразу на частині етапу поділу, робочий буфер у пам’яті, яку надає викликач, і зв’язана структура для зменшення переміщення даних під час злиття BPE.
У v1 також додано локальний для потоку кеш повторюваних попередніх токенів. Один токенізатор може кодувати з кількох потоків без спільного блокування. Кандидат на випуск доступний через crates.io за допомогою Cargo. Виклики кодування не змінюються, а для масштабування на кількох ядрах використовується encode_batch. Наведені показники стосуються Rust-бібліотеки й не включають накладні витрати Python-прив’язок.
Текст підготовлено ШІ Sakhanda Wire за матеріалом Hugging Face. Факти, цитати та повний контекст — в оригінальній статті нижче.