← Accueil actu | Salle du marché
2026-10-10 · Source：Unite AI
Des prompts, des réglages et des jeux de données identiques sont censés garantir une comparaison équitable — or des indices temporels dissimulés dans les prompts système peuvent se faufiler malgré ce dispositif contrôlé.
Quelque part dans la tuyauterie d'une exécution de benchmark loge une variable que personne n'a contrôlée : une date, nichée dans un prompt système, qui oriente en silence les résultats.
Les benchmarks sont la structure porteuse du marché des grands modèles de langage. Sans eux, consommateurs et entreprises n'ont aucun moyen fiable de juger du progrès réellement accompli par un modèle entre deux versions, ni de la manière dont il se compare aux concurrents. Les choix d'achat, les décisions de mise à niveau et le positionnement concurrentiel s'appuient tous sur des scores présumés comparables — c'est précisément pourquoi les fissures de la méthodologie d'évaluation comptent bien au-delà de la communauté de recherche.
La difficulté fondamentale est inhérente à la technologie. Les grands modèles de langage sont non déterministes : soumis à la même entrée, ils ne produisent pas toujours des sorties cohérentes. Des jeux de données et des réglages de benchmark identiques peuvent donc donner des scores différents d'une exécution à l'autre, et un certain degré de variance est depuis longtemps accepté comme le prix à payer pour mesurer ces systèmes.
La défense standard tient au contrôle exhaustif — prompts identiques, réglages de modèle identiques, jeux de données de benchmark identiques — de sorte que tout écart de scores résiduel puisse être imputé au modèle lui-même. Mais comme le souligne l'enquête de Unite AI, des différences d'apparence mineure dans l'environnement d'exécution peuvent persister même sous cette discipline. Les dates secrètes incrustées dans les prompts système en sont le cas d'école : une variable qui survit à la liste de contrôle standard parce qu'elle se cache dans l'un des artefacts mêmes que les chercheurs croient avoir verrouillé.
Le résultat est un benchmark dont les chiffres semblent irréprochables et ne le sont pas.
Pour les acheteurs et les investisseurs de calcul IA, la conséquence pratique est une recalibration de la confiance. Les annonces de progrès de version en version et les comparaisons frontales entre concurrents ne sont fiables qu'à hauteur du dispositif d'évaluation qui les sous-tend, et ce dispositif — on le découvre désormais — peut être discrètement sapé par quelque chose d'aussi banal qu'une chaîne de date dans un prompt. Tant que les pipelines d'évaluation ne tiendront pas compte des indices temporels cachés, les chiffres des benchmarks devront être traités comme des signaux d'orientation plutôt que comme une vérité terrain.
Mots-clés: LLM Benchmarks · System Prompts · Model Evaluation · Non-Determinism · Large Language Models
萬安算交所 AIXX · AIXX · Bourse compute vérifiée · Accéder à la salle