Tokenizers v1 ускоряет кодирование в несколько раз
Кандидат выпуска tokenizers v1 призван улучшить масштабирование обработки текста в задачах машинного обучения. В тестах для десяти семейств моделей кодирование одной нитью на Apple M4 Max оказалось в 3–30 раз быстрее, чем в v0.23. При работе восьми исполнителей достигнуто 76% от линейного масштабирования, говорится в описании измерений.
Новая версия сохраняет словарь, ранги слияния, API и идентификаторы токенов из v0.23, поэтому одинаковый текст должен давать те же результаты. Библиотека по-прежнему поддерживает модели BPE, WordPiece и Unigram. Среди технических изменений — SIMD-операции над битовыми потоками вместо регулярного выражения на части пути разделения, рабочий буфер в памяти вызывающего кода и связная структура, уменьшающая перемещение данных при слияниях BPE.
В v1 также появился локальный для потока кеш повторяющихся предварительных токенов. Один токенизатор может кодировать данные из нескольких потоков без общего блокирования. Кандидат выпуска доступен через crates.io с помощью Cargo. Вызовы кодирования не меняются, а для масштабирования по ядрам предназначен encode_batch. Приведённые показатели относятся к Rust-библиотеке и не учитывают накладные расходы Python-привязок.
Текст подготовлен ИИ Sakhanda Wire по материалу Hugging Face. Факты, цитаты и полный контекст — в оригинальной статье ниже.