← Accueil actu | Salle du marché

LiquidCodec dévoilé : un codec audio en streaming à 74M de paramètres

2026-11-13 · Source:MarkTechPost

LiquidCodec dévoilé : un codec audio en streaming à 74M de paramètres

Liquid AI présente LiquidCodec, un tokenizer vocal en streaming de 74M de paramètres : environ 13 fois plus rapide à l'encodage que son prédécesseur Mimi, avec des performances supérieures sur tous les benchmarks qualité.

Liquid AI a publié LiquidCodec, un tokenizer vocal en streaming d'environ 74M de paramètres (73,6M selon la fiche modèle), qui assure l'encodage et la reconstruction de la voix pour ses deux modèles LFM3-Audio-2B et LFM3-Omni-2B, remplaçant Kyutai Mimi (96,2M de paramètres) utilisé par la génération précédente. Côté spécifications, il fonctionne à 24 kHz avec une fréquence d'images de 12,5 Hz et produit 12 tokens discrets (12 codebooks) par trame de 80 millisecondes ; le quantificateur abandonne le RVQ au profit d'une quantification scalaire finie groupée (GFSQ), chaque groupe étant indépendant, ce qui permet aux 12 codebooks d'être prédits en parallèle par un transformer de type MaskGIT.

Architecture et entraînement : le codec encodeur-décodeur symétrique est composé de blocs d'architecture LFM3, avec un encodeur entièrement causal, adapté au streaming ; le décodeur prédit directement les coefficients spectraux, éliminant le suréchantillonnage par convolution transposée apprise. L'entraînement s'est déroulé en trois phases : d'abord un pré-entraînement sur 264 000 heures de parole en 107 langues avec des pertes sur forme d'onde et spectre (sans perte adversarielle) ; puis un affinage sur 55 000 heures de voix pleine bande (au-delà de 24 kHz) avec discriminateur adversarial pour supprimer les artefacts métalliques ; enfin une entraînement de quantification consciente réservé au décodeur, afin de faciliter le déploiement en périphérie.

Les résultats de vitesse sont remarquables (chiffres officiels, un seul thread CPU sur Apple M4 Max, FP32) : encodage à environ 361 fois le temps réel (RTF 0,0028), soit environ 13 fois plus rapide que Mimi (0,0361) ; décodage à environ 87 fois le temps réel (RTF 0,0115), soit environ 2,9 fois plus rapide que Mimi (0,0329) ; il surpasse également NanoCodec et X-Codec 2 sur tous les points de comparaison.

Les benchmarks qualité couvrent 8 jeux de test (LibriSpeech test-clean, Seed-TTS en anglais et en chinois, ainsi que FLEURS en 5 langues) : pour la qualité de reconstruction, il arrive premier sur tous les tests ViSQOL et distance mel, avec un ViSQOL de 4,319 sur LibriSpeech contre 4,219 pour NanoCodec, 4,119 pour X-Codec 2 et 4,031 pour Mimi ; dans les expériences TTS comparatives (même architecture TTS et même puissance de calcul, chaque modèle entraîné sur 101 000 heures de données), il domine tous les scores UTMOSv2 (3,31 sur LibriSpeech contre 2,89 pour Mimi), avec un taux d'erreur par mot de 3,15 % sur LibriSpeech contre 6,27 % pour Mimi. Ses points faibles résident dans le PESQ et la similarité de locuteur : NanoCodec l'emporte sur 7 des 8 jeux de test.

Déploiement et licence : le modèle peut être chargé via Hugging Face Transformers (avec trust_remote_code=True), avec des interfaces encode et decode ainsi qu'un cache de décodage en streaming bloc par bloc ; côté llama.cpp, trois versions GGUF sont disponibles (Q4_0, Q4_K_M, Q8_0), le décodeur Q4_0 étant 3,5 fois plus léger avec un ViSQOL qui ne baisse que de 4,319 à 4,292. Les poids sont publiés dans le dépôt LiquidAI/Liquid-Codec sur Hugging Face, sous une licence indiquée « other » avec un lien vers la LFM License (à titre de comparaison, Mimi est en CC-BY 4.0 et X-Codec 2 en CC-BY-NC 4.0).


À lire aussi


萬安算交所 AIXX · AIXX · Bourse compute vérifiée · Accéder à la salle