← Accueil actu | Salle du marché
2026-09-17 · Source：deep-www.unite.ai-p12
Construit avec le Korea AI Safety Institute, le benchmark bilingue rapporte un préjudice mesuré systématiquement plus faible pour les prompts coréens ancrés dans le contexte sur presque tous les 14 modèles de frontière évalués.
Scale AI a publié le 17 septembre 2026 les résultats de ROK-FORTRESS, un benchmark de sécurité adversarial bilingue anglais-coréen développé conjointement avec le Korea AI Safety Institute. Le résultat central : les prompts écrits en coréen et ancrés dans des contextes coréens ont été systématiquement associés à un préjudice mesuré plus faible sur presque tous les 14 modèles de frontière évalués. La constance du schéma à travers la cohorte de frontière évaluée, plutôt que le comportement isolé d'un modèle, constitue le principal enseignement du benchmark.
C'est dans la conception que ROK-FORTRESS s'écarte de la pratique standard. La plupart des benchmarks de sécurité multilingues traduisent un prompt fixe dans une autre langue et mesurent la réponse — une approche qui préserve la formulation mais ampute le contexte local. Scale AI et le Korea AI Safety Institute ont au contraire bâti le benchmark autour d'une Transcreation Matrix, une conception que le rapport présente en contraste avec les tests multilingues privilégiant la traduction, en alignant les prompts adversariaux sur le contexte coréen plutôt qu'en rendant des prompts anglais fixes en coréen.
Pourquoi c'est important : les résultats indiquent que le préjudice mesuré n'est pas invariant selon la langue. Si les systèmes de frontière affichent un préjudice mesuré systématiquement plus faible sur les prompts coréens ancrés dans le contexte, alors les scores de sécurité issus d'une évaluation en anglais peuvent ne pas décrire pleinement le comportement des mêmes modèles pour les utilisateurs coréphones. Pour les organisations qui déploient des modèles de frontière dans des environnements bilingues anglais-coréen, l'étude fournit une justification à des tests adversariaux localisés en complément des audits de sécurité conventionnels en anglais.
Le développement conjoint avec le Korea AI Safety Institute inscrit en outre ce travail dans les efforts officiels d'évaluation de la sûreté — un organisme national de sûreté de l'IA cosignant un benchmark adversarial avec un fournisseur d'évaluation commercial. Avec 14 modèles de frontière évalués et un résultat cohérent d'un modèle à l'autre, ROK-FORTRESS ajoute un point de données bilingue et sensible au contexte à une littérature de sécurité multilingue qui, note le rapport, s'est beaucoup appuyée sur la traduction directe de prompts fixes.
Mots-clés: Scale AI · ROK-FORTRESS · Korea AI Safety Institute · AI Safety · Multilingual Benchmark
萬安算交所 AIXX · AIXX · Bourse compute vérifiée · Accéder à la salle