Sakhanda Wire
NVDA $154.00 -1.37% MSFT $506.28 -2.26% GOOGL $280.87 -1.00% META $620.34 -0.97% AMZN $256.88 -0.34%
← До новин

Tokenizers v1 демонструє значне прискорення кодування

Кандидат на випуск tokenizers v1 має покращити масштабування обробки тексту в завданнях машинного навчання. Тести для десяти сімейств моделей показали, що кодування в один потік на Apple M4 Max працює у 3–30 разів швидше, ніж у v0.23. Для восьми виконавців масштабування становило 76% від лінійного, йдеться в описі вимірювань.

Нова версія зберігає словник, ранги злиття, API та ідентифікатори токенів із v0.23, тому однаковий текст має давати ті самі результати. Бібліотека й надалі підтримує моделі BPE, WordPiece і Unigram. Серед змін — SIMD-операції над бітовими потоками замість регулярного виразу на частині етапу поділу, робочий буфер у пам’яті, яку надає викликач, і зв’язана структура для зменшення переміщення даних під час злиття BPE.

У v1 також додано локальний для потоку кеш повторюваних попередніх токенів. Один токенізатор може кодувати з кількох потоків без спільного блокування. Кандидат на випуск доступний через crates.io за допомогою Cargo. Виклики кодування не змінюються, а для масштабування на кількох ядрах використовується encode_batch. Наведені показники стосуються Rust-бібліотеки й не включають накладні витрати Python-прив’язок.

Текст підготовлено ШІ Sakhanda Wire за матеріалом Hugging Face. Факти, цитати та повний контекст — в оригінальній статті нижче.

Вперше опубліковано виданням Hugging Face

Читати оригінал на Hugging Face ↗

Репортаж і зображення належать Hugging Face і зазначені вище з посиланням на оригінал; текст на цій сторінці — власний виклад Sakhanda Wire.

← До новин

Ще новини

Усі останні новини