AIXX Pedia › Concept technique › Optimisation d'inférence TensorRT
TensorRT est l'écosystème d'optimisation d'inférence deep learning de NVIDIA : selon la définition officielle, « un écosystème d'outils offrant aux développeurs des performances élevées en inférence deep learning », comprenant un compilateur d'inférence, un runtime et des optimisations de modèles, construit sur le modèle de programmation parallèle CUDA (page officielle NVIDIA TensorRT). Il applique au modèle entraîné la fusion de couches, le réglage automatique des kernels et la quantification en basse précision, puis le compile en un moteur d'inférence haute performance spécifique à un GPU donné.
Rôle dans les racks de calcul IA : l'entraînement se joue côté PyTorch, mais le débit d'inférence en production passe très souvent par TensorRT — les grands modèles empruntent sa branche dédiée aux LLM, TensorRT-LLM (terme distinct dans cette encyclopédie, version 1.0 publiée en septembre 2026). Selon les chiffres officiels : jusqu'à 36× plus rapide qu'une plateforme CPU pure, jusqu'à 6× avec une simple ligne d'intégration PyTorch ; TensorRT-LLM affiche des performances jusqu'à 8×, une optimisation du TCO de 5,3× et une consommation réduite de près de 6× (pages officielles NVIDIA).
| Élément | Valeur / périmètre |
|---|---|
| Positionnement | Écosystème d'optimisation d'inférence NVIDIA : compilateur + runtime + optimisation de modèles (définition de la page officielle) |
| Chiffres de performance | Jusqu'à 36× vs plateforme CPU pure · jusqu'à 6× avec une simple ligne d'intégration PyTorch (page officielle) |
| TensorRT-LLM | Performances jusqu'à 8× · TCO optimisé 5,3× · consommation réduite de près de 6× (page officielle) |
| Version | 11.x depuis septembre 2026 · dernière release note officielle 11.4.0 (mise à jour octobre 2026) |
Pour la génération B300 (Blackwell Ultra), les chiffres d'inférence passent tous par la pile logicielle : le « jusqu'à 50× de performances Agentic AI et 35× de réduction des coûts » affiché par NVIDIA est un chiffre lié à la stack TensorRT/TensorRT-LLM (page officielle TensorRT), et la consommation annoncée en FP4 pour la B300 s'appuie elle aussi sur le chemin TensorRT-LLM. Sur une même carte, une pile logicielle bien ou mal configurée peut faire varier le débit mesuré de plusieurs fois.
Point de vue acheteur : lors d'un test de débit d'inférence à la réception, il faut consigner dans le rapport la version de la pile logicielle (version de TensorRT, précision de quantification, passage ou non par TensorRT-LLM) ainsi que le modèle utilisé ; sinon les chiffres ne sont ni comparables ni reproductibles. Revendre des scores obtenus avec une stack profondément optimisée comme des performances bare metal est une pratique gonflée courante sur le marché de l'occasion.