Sakhanda Wire
NVDA $154.00 -1.37% MSFT $506.28 -2.26% GOOGL $280.87 -1.00% META $620.34 -0.97% AMZN $256.88 -0.34%
← К новостям

Tokenizers v1 ускоряет кодирование в несколько раз

Кандидат выпуска tokenizers v1 призван улучшить масштабирование обработки текста в задачах машинного обучения. В тестах для десяти семейств моделей кодирование одной нитью на Apple M4 Max оказалось в 3–30 раз быстрее, чем в v0.23. При работе восьми исполнителей достигнуто 76% от линейного масштабирования, говорится в описании измерений.

Новая версия сохраняет словарь, ранги слияния, API и идентификаторы токенов из v0.23, поэтому одинаковый текст должен давать те же результаты. Библиотека по-прежнему поддерживает модели BPE, WordPiece и Unigram. Среди технических изменений — SIMD-операции над битовыми потоками вместо регулярного выражения на части пути разделения, рабочий буфер в памяти вызывающего кода и связная структура, уменьшающая перемещение данных при слияниях BPE.

В v1 также появился локальный для потока кеш повторяющихся предварительных токенов. Один токенизатор может кодировать данные из нескольких потоков без общего блокирования. Кандидат выпуска доступен через crates.io с помощью Cargo. Вызовы кодирования не меняются, а для масштабирования по ядрам предназначен encode_batch. Приведённые показатели относятся к Rust-библиотеке и не учитывают накладные расходы Python-привязок.

Текст подготовлен ИИ Sakhanda Wire по материалу Hugging Face. Факты, цитаты и полный контекст — в оригинальной статье ниже.

Впервые опубликовано изданием Hugging Face

Читать оригинал на Hugging Face ↗

Репортаж и изображение принадлежат Hugging Face и указаны выше со ссылкой на оригинал; текст на этой странице — собственное изложение Sakhanda Wire.

← К новостям

Ещё новости

Все последние новости