Liquid AI випустила потоковий аудіокодек на 74 мільйони параметрів
Liquid AI випустила LiquidCodec — потоковий токенізатор мовлення для моделей LFM3-Audio-2B і LFM3-Omni-2B. Кодек містить близько 74 мільйонів параметрів, або 73,6 мільйона за даними картки моделі. Він обробляє аудіо з частотою 24 kHz при 12,5 Hz і створює 12 потоків дискретних токенів. Кожні 80 мілісекунд аудіо подаються як 12 токенів.
LiquidCodec поєднує причинний енкодер із групованою скінченною скалярною квантизацією. Оскільки групи є незалежними, усі 12 кодових книг можна передбачати паралельно. Декодер безпосередньо прогнозує спектральні коефіцієнти, не використовуючи навчене підвищення частоти транспонованими згортками. Навчання охопило 264 000 годин мовлення 107 мовами, а потім 55 000 годин повносмугового мовлення. Окремий етап квантизаційного навчання був призначений для периферійного запуску.
Під час тестів на Apple M4 Max кодування на одному потоці CPU працювало приблизно у 361 раз швидше за реальний час, а декодування — приблизно у 87 разів. У восьми тестових наборах кодек показав найкращі результати за ViSQOL і мел-відстанню серед порівнюваних систем. Водночас NanoCodec мав вищий PESQ у семи наборах. Ваги доступні через Hugging Face, а запуск підтримують CUDA, Transformers і llama.cpp.
Текст підготовлено ШІ Sakhanda Wire за матеріалом MarkTechPost. Факти, цитати та повний контекст — в оригінальній статті нижче.