← Accueil actu | Salle du marché

Google open-source TPU Sync : une bibliothèque de transfert de KV cache entre les couches qui accélère l'inférence des grands modèles

2026-11-13 · Source:MarkTechPost

Google open-source TPU Sync : une bibliothèque de transfert de KV cache entre les couches qui accélère l'inférence des grands modèles

Google Cloud open-source la bibliothèque C++ TPU Sync, qui traite la HBM des TPU, la mémoire hôte et le réseau du centre de données comme une hiérarchie mémoire unifiée pour déplacer le KV cache ; selon les tests officiels, les frais de transfert baissent de plus de 90 %.

Google Cloud a open-source la bibliothèque C++ TPU Sync (licence Apache 2.0, avec des wheels Python pour PyTorch et JAX). Elle vise à résoudre le goulot d'étranglement de l'inférence des grands modèles, où déplacer l'état est plus difficile que calculer : la HBM des TPU, la DRAM hôte, le stockage partagé et le réseau du centre de données sont traités comme une hiérarchie mémoire unifiée, chargée de transporter le KV cache et les poids des modèles ; s'y ajoutent un stockage KV global (recherche de préfixes), un contrôleur de transfert et un gestionnaire de KV cache, avec un support expérimental de diffusion des poids d'entraînement vers l'échantillonneur pour servir l'apprentissage par renforcement.

La conception repose sur quatre choix clés : d'abord, un DMA direct préservant la mise en page, qui lit et écrit sur place les tampons JAX PJRT et les tenseurs PyTorch en conservant la disposition native en tuiles des TPU, sans sérialisation ni tampon intermédiaire ; ensuite, le chevauchement du transfert et du calcul, grâce à l'aliasing des tampons PJRT permettant les copies pendant le calcul, avec un throttling DMA empêchant les grandes copies de bloquer le lancement des kernels ; troisième choix, un chemin de données qui ne passe jamais par la compilation XLA, les transferts et le resharding étant effectués en C++ natif en dehors du graphe XLA ; enfin, des canaux à haute bande passante : jusqu'à 223 Go/s mesurés sur le PCIe d'un hôte Ironwood (proche de la limite théorique de 256 Go/s du PCIe Gen5), environ 192 Gbit/s par carte réseau en flux sur le réseau du centre de données et environ 350 Gbit/s avec deux cartes.

Le scénario typique est l'inférence à préremplissage et décodage séparés (P/D) : les nœuds de préremplissage transfèrent en DMA asynchrone les blocs KV dans la mémoire hôte épinglée, puis le contrôleur les diffuse hôte par hôte vers les nœuds de décodage, les blocs arrivants étant écrits dans la HBM des nœuds de décodage pendant le décodage ; le système prend également en charge un cache de préfixes pour des contextes de 64K, et lorsque les poids MoE saturent la HBM, la capacité effective du cache peut être multipliée par dix.

Chiffres officiels autodéclarés (tests internes de juillet 2026, topologie TPU v7x 2x2x1, modèles MoE de 235B à 480B) : les frais de transfert du KV cache baissent de plus de 90 %, la latence médiane de transfert KV de Qwen3 235B passant de plusieurs secondes à environ 230 millisecondes ; à faible concurrence, la latence du premier token (TTFT) baisse en moyenne de 60 % (235B) et de 90 % (480B) ; en période de pointe, le débit de sortie du modèle 235B progresse de 30 % à 70 % ; le cache de préfixes réduit jusqu'à 90 % le TTFT pour les contextes de 64K, augmente le débit de plus de 50 % et fait baisser de 30 % la latence P99 inter-tokens.

Sur le plan de l'écosystème, TPU Sync sert déjà de connecteur KV à vLLM-TorchTPU et de backend de transfert P/D et d'E/S de cache hiérarchisé à SGLang-TorchTPU ; llm-d 1.0 sur GKE l'utilise pour le routage par affinité de cache de préfixes, avec débordement expérimental vers Managed Lustre ; Inferact et RadixArk ont participé à la co-construction côté vLLM et SGLang, tandis que Meta et Wayfair sont en cours d'évaluation. L'environnement requis est Cloud TPU v7x (Ironwood) ou v6e, le code source étant disponible sur le dépôt GitHub google/tpu-sync ; à noter : pas d'API managée, le README ne recommande pas encore son usage pour des scénarios généraux, et tous les chiffres sont autodéclarés par l'éditeur.


À lire aussi


萬安算交所 AIXX · AIXX · Bourse compute vérifiée · Accéder à la salle