Sakhanda Wire
NVDA $154.00 -1.37% MSFT $506.28 -2.26% GOOGL $280.87 -1.00% META $620.34 -0.97% AMZN $256.88 -0.34%
← К новостям

Liquid AI выпустила потоковый аудиокодек на 74 миллиона параметров

Liquid AI выпустила LiquidCodec — потоковый токенизатор речи для моделей LFM3-Audio-2B и LFM3-Omni-2B. Кодек содержит около 74 миллионов параметров; в карточке модели указано 73,6 миллиона. Он обрабатывает аудио с частотой 24 kHz при 12,5 Hz и формирует 12 потоков дискретных токенов. Каждые 80 миллисекунд аудио представлены 12 токенами.

В LiquidCodec используются причинный энкодер и групповая конечная скалярная квантизация. Благодаря независимости групп все 12 кодовых книг можно предсказывать параллельно. Декодер напрямую рассчитывает спектральные коэффициенты, не применяя обучаемое повышающее дискретизацию транспонированными свёртками. На первом этапе система обучалась на 264 000 часах речи на 107 языках, затем — на 55 000 часах полночастотной речи. Завершающий этап был ориентирован на запуск на периферийных устройствах.

На одном потоке CPU Apple M4 Max кодирование достигало примерно 361-кратной скорости реального времени, а декодирование — около 87-кратной. В восьми тестовых наборах LiquidCodec показал лучшие результаты по ViSQOL и мел-расстоянию среди сравниваемых кодеков. NanoCodec, однако, получил более высокий PESQ на семи наборах. Веса доступны через Hugging Face; поддерживаются CUDA, Transformers и llama.cpp.

Текст подготовлен ИИ Sakhanda Wire по материалу MarkTechPost. Факты, цитаты и полный контекст — в оригинальной статье ниже.

Впервые опубликовано изданием MarkTechPost

Читать оригинал на MarkTechPost ↗

Репортаж и изображение принадлежат MarkTechPost и указаны выше со ссылкой на оригинал; текст на этой странице — собственное изложение Sakhanda Wire.

← К новостям

Ещё новости

Все последние новости