Comparer sans simplifier
Les grands assistants en ligne sont plus puissants en langage et en connaissances. SophIA est évaluée sur ses propres forces.
Mesurer sans se raconter d'histoires
Des chiffres utiles, une fabrication qui reste privée.
Nous publions ce qui aide à décider et à comparer. Nous ne publions pas les détails de fabrication de SophIA.
Mise à jour du 2 octobre 2026
Ce qui est mesuré
Questions jamais vues, tests cachés, examens reconnus.
Questions jamais vues par SophIA, écrites et corrigées par des IA extérieures ; code jugé par des tests cachés ; examens publics reconnus. Les résultats publiés indiquent toujours le domaine et la date.
01
Questions inédites
Des questions formulées comme les poserait un utilisateur, que SophIA n'a jamais vues pendant sa mise au point.
02
Correction séparée
Chaque réponse est comparée à la réponse attendue, puis classée : juste, partielle, fausse ou refus.
03
Code contrôlé
Le code est jugé par des tests cachés que SophIA ne voit pas.
04
Examens reconnus
Des examens publics permettent une comparaison prudente avec les scores publiés.
Un « je ne sais pas » honnête est un refus, pas une faute.La méthode doit mesurer une réponse réelle, pas une promesse.
Règles de lecture
Un résultat n'est pas une garantie.
Chaque chiffre est daté, rattaché à une matière et présenté avec son contexte. Les variantes d'examen voisines sont signalées comme telles. Quand aucune comparaison fiable n'est disponible, nous ne fabriquons pas de chiffre.
Questions jamais vuesLes questions de l'examen ne sont jamais montrées pendant la mise au point.
Tests cachésRéussir le test compte davantage qu'une impression à la lecture.
Échecs visiblesLes limites et les résultats moins bons restent publiés.
Ce que nous ne détaillons pas
Transparence sur le quoi, discrétion sur le comment.
Le site décrit les capacités, les limites, les notes et les sources. Il ne détaille pas l'architecture interne, les recettes de mesure ni les outils de fabrication.
Publier les limites
Les résultats moins bons, notamment lorsque la demande est ambiguë, restent visibles sur les pages Résultats et Limites.
Dire quand il manque une donnée
Demander la donnée manquante fait partie de ce qui est évalué, au même titre que répondre.
Mesures publiques
Le bulletin est la référence du moment.
Le bulletin du 2 octobre 2026 rassemble les notes par matière, les examens publics et les comparaisons que les chiffres disponibles permettent de faire.
Ce qu'on garde, ce qu'on jette
Une amélioration doit tenir sur du neuf.
Chaque changement est vérifié par des dizaines de contrôles automatiques avant d'être gardé. Un progrès qui ne se voit que sur des questions déjà travaillées ne compte pas : nous le mesurons aussi sur une moitié des questions qui n'a jamais été regardée pendant la mise au point.
4 entraînements de son modèle essayés, aucun gardéIls n'amélioraient pas les résultats sur les exercices jamais vus.
Culture, questions reformulées de 5 façons : 86 % avec aide extérieure / 78 % sans aide extérieure (10/10/2026 ; source : mesure interne SophIA)Sur la moitié jamais regardée : erreurs divisées par deux : 97 → 48 sur 442, sans aucun recul.
Les erreurs affirmées comptées à partUne réponse fausse donnée comme sûre pèse plus qu'un « je ne sais pas ». Voir la page Vérité