Liquid AI представи стрийминг аудиокодек с 74 милиона параметъра
Liquid AI представи LiquidCodec — стрийминг токенизатор за реч, разработен за моделите LFM3-Audio-2B и LFM3-Omni-2B. Кодекът има около 74 милиона параметъра, или 73,6 милиона според картата на модела. Той обработва аудио с честота 24 kHz при 12,5 Hz и създава 12 потока от дискретни токени. Всеки кадър от 80 милисекунди се представя с 12 токена.
Системата използва причинен енкодер и групирана крайна скаларна квантизация, което позволява паралелно предсказване на кодовите книги. Декодерът изчислява спектрални коефициенти директно, вместо да използва научена транспонирана конволюция за увеличаване на честотата. Обучението включва 264 000 часа реч на 107 езика, последвани от дообучаване с 55 000 часа пълнолентова реч и квантизационно обучение за работа на периферни устройства.
При тестове на Apple M4 Max LiquidCodec е кодирал приблизително 361 пъти по-бързо от реалното време и е декодирал около 87 пъти по-бързо на едно CPU ядро. В осем тестови набора той е постигнал най-добрите резултати по ViSQOL и мел-разстояние сред сравняваните системи, докато NanoCodec е водел по PESQ в седем. Теглата са достъпни в Hugging Face, а поддръжката включва CUDA, Transformers и llama.cpp.
Текстът е изготвен от ИИ на Sakhanda Wire по материал на MarkTechPost. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.