← Accueil actu | Salle du marché
2026-09-19 · Source：Unite AI p3
Le système de routage natif Kubernetes et conscient des GPU pour l'inférence de LLM se déploie comme un add-on géré unique pour Amazon EKS et, selon AWS, peut réduire la latence du premier token jusqu'à 82 pour cent.
Amazon Web Services a introduit Amazon SageMaker HyperPod Inference Gateway, un système de routage natif Kubernetes et conscient des GPU pour l'inférence de grands modèles de langage. Annoncée le 18 septembre 2026, la passerelle se déploie comme un add-on géré unique pour Amazon EKS et opère sur l'infrastructure HyperPod existante. Selon AWS, le système peut réduire la latence du premier token jusqu'à 82 pour cent — une métrique qui mesure la rapidité avec laquelle un modèle commence à retourner une sortie, et une mesure clé de réactivité pour les applications interactives.
Le lancement cible ce qu'AWS cadre comme une faiblesse structurelle dans la façon dont les clusters d'inférence distribuent le trafic. Dans le récit de l'entreprise, les algorithmes d'équilibrage de charge par défaut de Kubernetes, tels que round-robin et least-connections, n'ont aucune visibilité, laissant les requêtes atterrir sans égard pour les accélérateurs qui les servent réellement. L'Inference Gateway est conçu pour combler ce fossé en prenant des décisions de routage conscientes de la disponibilité des GPU plutôt qu'en traitant les points de terminaison d'inférence comme interchangeables.
Pour les équipes qui font tourner du serving LLM sur EKS, le modèle d'add-on géré signifie que la capacité arrive sans plan de contrôle séparé à construire ou maintenir, et comme il tourne sur l'infrastructure HyperPod existante, l'adoption n'exige pas de dresser de nouveaux clusters. L'amélioration allant jusqu'à 82 pour cent de la latence du premier token est toutefois un chiffre du fournisseur ; les opérateurs qui évaluent la passerelle pour des applications sensibles à la latence voudront la benchmarker contre leurs propres charges de travail et leur mix de modèles avant de s'engager.
Stratégiquement, l'annonce approfondit le rôle de SageMaker HyperPod dans le serving de charges de travail et signale la poussée d'AWS pour faire de l'inférence elle-même une couche gérée et optimisée de sa pile cloud. À mesure que la réactivité du serving façonne de plus en plus l'économie des applications d'IA générative, l'intelligence de routage émerge comme un différenciateur parmi les hyperscalers — et AWS prend position sur cette couche avec des outils natifs Kubernetes que les clients existants peuvent activer directement.
Mots-clés: AWS · SageMaker HyperPod Inference Gateway · Amazon EKS · LLM Inference · Kubernetes · GPU-Aware Routing
萬安算交所 AIXX · AIXX · Bourse compute vérifiée · Accéder à la salle