Sophie par niveau, face à son moteur seul

Un axe vertical commun : le pourcentage de réponses justes. Chaque domaine est un plan qui tourne autour de cet axe ; dans son plan, les niveaux partent de l'axe (primaire) vers l'extérieur (recherche). Fais tourner la figure avec la souris ou le doigt.

Moteur seul (Qwen3 8B) Sophie sans connexion Sophie avec Wikipédia et Wikidata, sans autre IA Sophie avec Wikipédia et Gemini Gemini seul (la question telle quelle, sans Sophie)

Histoire et géographie, à partir de la licence : jugées sur Sophie avec Wikipédia et Wikidata. Inutile de remplir sa mémoire de faits historiques : Wikipédia et Wikidata sont déjà sa bibliothèque — un historien ne travaille jamais sans ses sources. Ces cases portent la marque ◆ avec Wikipédia sous leur niveau, et leur point jaune est cerclé : c'est lui qui compte pour valider l'étape. Partout ailleurs, l'étape se juge sur Sophie sans connexion (décision de Fabian, 22/10).

Remonter dans le temps

Les aires, domaine par domaine

Aire = moyenne des pourcentages sur les niveaux mesurés pour les deux (l'aire sous la courbe divisée par sa largeur). Points pleins : questions neuves du 19/10, les mêmes pour les deux. Points creux : derniers résultats de l'historique, avec leur date.

Connectome : la carte des régions de Sophie et de leurs liaisons, comme on dessine un cerveau à partir de mesures. Chaque boule est une matière à un niveau : sa taille est le score mesuré, sa couleur sa famille (bleu le raisonnement chiffré (maths, physique, chimie, code), violet les sciences de la vie, à part, vert le savoir, jaune la langue, rouge la spiritualité ; une nuance par matière). La hauteur est le niveau, du primaire en haut à la recherche en bas. Un tube relie deux matières seulement si des questions mêlant les deux ont été posées : son épaisseur dit combien, sa netteté le taux de réussite. Rien n'est placé à la main : les liaisons réussies rapprochent leurs régions, et la forme sort de ce calcul. Une matière que Sophie ne relie à rien reste isolée. Le grillage gris autour d'une boule est le moteur seul. Touche une boule ou le milieu d'un tube pour lire sa mesure sous la figure.
Chaque point : les mêmes questions neuves, posées en français, au moteur seul et à Sophie, corrigées de façon anonyme contre la bonne réponse.
Un niveau sans point n'est pas encore mesuré ; « en cours » : la mesure tourne.
Avec 20 questions par point, la marge d'erreur est d'environ ±20 points : un écart de 2 questions ne prouve rien, un écart de 6 oui.
« Juste » seulement : les réponses partielles sont dans le détail. Les points creux viennent de mesures plus anciennes, sur d'autres questions et une Sophie d'avant : ils donnent la forme, pas une comparaison exacte.

Ce qui a bougé en 48 heures (du 02/11, 9 h, au 04/11, 9 h)

Dix jeux de questions ont reçu une mesure neuve, jugée à l'aveugle. Le graphe du haut garde ses points du 19-26/10 ; ici, les passages un par un. Attention : les anciens passages portaient souvent sur 15 à 20 questions, les neufs sur 100 — un écart de quelques points entre les deux ne prouve rien.

Sophie seule Moteur seul Gemini seul Sophie avec Gemini (anciens passages)

1. Avant → maintenant, jeu par jeu

Sur les MÊMES questions des deux côtés (sinon on compare 20 questions faciles à 100 questions plus dures). Point creux : le dernier passage de Sophie avant le 02/11. Point plein : le passage neuf, sur ces mêmes questions. À droite : questions gagnées / perdues. Total : 86 → 98 sur 190 questions (+28, −16).

2. La physique L1-L2, levier par levier (nuit du 02 au 03/11)

3. Passer la main à Gemini quand elle doute (sciences du supérieur, 324 questions)

Mêmes questions pour les trois barres. Ligne pointillée : l'objectif de 80 %.

4. L'évolution de chaque jeu dans le temps

Chaque point est un passage (survoler pour le détail). La bande grisée : les 48 dernières heures.

5. Ce que mesure chaque pourcentage

Score global : un examen entier, des questions que Sophie n'a jamais vues, corrigées à l'aveugle. C'est son niveau. Physique L1-L2 (examen corrigé le 07/11, 92 questions) : Sophie 57 %, moteur seul 30 %, Gemini seul 92 % (sur les 51 questions jugées pour les trois, Sophie y fait 63 %).

Sur ses manques : des exercices construits exprès PRÈS de ses erreurs passées, pour voir si elle a retenu la leçon. « 69 → 93 justes sur 131 » veut dire qu'elle apprend de ses erreurs ; ce n'est pas un niveau, et ce chiffre ne se compare pas aux scores globaux. Sur un examen neuf, ces mêmes méthodes ne touchent que 6 % des questions, sans gain démontré (les 2 « gagnées » du 07/11 sont annulées : la réserve d'apprentissage contenait des copies des questions d'examen ; 128 questions mises en quarantaine le 08/11).

Un examen peut se tromper : relu le 07/11, l'examen de physique L1-L2 avait 7 corrigés faux ou ambigus et 8 questions impossibles (figure absente, énoncé tronqué). Corrigé, Sophie passe de 44 % à 57 % sans avoir changé. Relus ensuite : physique L3 (7 corrigés faux ; Sophie 41 → 43 %, Gemini 64 → 69 %), physique master (1 réponse acceptée), chimie licence (1 corrigé faux), sciences de la vie et géographie (justes). Pas encore relus : chimie master, maths de licence et de L3-M1.