Tokenizers v1 отчита значителен ръст на скоростта
Кандидатът за издание на tokenizers v1 е разработен така, че обработката на текст да се мащабира по-добре при натоварвания за машинно обучение. Измерванията при десет семейства модели показват между 3 и 30 пъти по-бързо кодиране спрямо v0.23 при използване на една нишка на Apple M4 Max. При осем работника е постигнато 76% от линейното мащабиране, според описаните бенчмаркове.
Новата версия трябва да запази съществуващите речник, рангове на сливанията, API и идентификатори на токените, така че еднакъв вход да дава същия резултат. Поддръжката на BPE, WordPiece и Unigram се запазва. Сред промените са SIMD операции върху битови потоци вместо част от регулярните изрази при разделянето, работен буфер, предоставен от извикващия, и свързана структура, която ограничава преместването на данни при BPE.
Добавен е и кеш на ниво нишка за повтарящи се предварителни токени. Един токенизатор вече може да кодира от множество нишки без общо заключване. Кандидатът за издание е достъпен чрез crates.io и Cargo. Извикванията за кодиране не се променят, а encode_batch се използва за мащабиране върху няколко ядра. Посочените резултати са за Rust библиотеката и не включват допълнителните разходи на Python обвивките.
Текстът е изготвен от ИИ на Sakhanda Wire по материал на Hugging Face. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.