Sakhanda Wire
NVDA $154.00 -1.37% MSFT $506.28 -2.26% GOOGL $280.87 -1.00% META $620.34 -0.97% AMZN $256.88 -0.34%
← Към новините

Tokenizers v1 отчита значителен ръст на скоростта

Кандидатът за издание на tokenizers v1 е разработен така, че обработката на текст да се мащабира по-добре при натоварвания за машинно обучение. Измерванията при десет семейства модели показват между 3 и 30 пъти по-бързо кодиране спрямо v0.23 при използване на една нишка на Apple M4 Max. При осем работника е постигнато 76% от линейното мащабиране, според описаните бенчмаркове.

Новата версия трябва да запази съществуващите речник, рангове на сливанията, API и идентификатори на токените, така че еднакъв вход да дава същия резултат. Поддръжката на BPE, WordPiece и Unigram се запазва. Сред промените са SIMD операции върху битови потоци вместо част от регулярните изрази при разделянето, работен буфер, предоставен от извикващия, и свързана структура, която ограничава преместването на данни при BPE.

Добавен е и кеш на ниво нишка за повтарящи се предварителни токени. Един токенизатор вече може да кодира от множество нишки без общо заключване. Кандидатът за издание е достъпен чрез crates.io и Cargo. Извикванията за кодиране не се променят, а encode_batch се използва за мащабиране върху няколко ядра. Посочените резултати са за Rust библиотеката и не включват допълнителните разходи на Python обвивките.

Текстът е изготвен от ИИ на Sakhanda Wire по материал на Hugging Face. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.

Първоначално публикувано от Hugging Face на

Прочетете оригинала в Hugging Face ↗

Репортажът и изображението принадлежат на Hugging Face и са посочени по-горе с връзка към оригинала; текстът на тази страница е собствено изложение на Sakhanda Wire.

← Към новините

Още новини

Всички последни новини