Est-ce que Signal fait bien son travail ?
Chaque éval rejoue une étape de Signal sur des données dont on connaît la bonne réponse, et compare le résultat à une cible fixée à l'avance (SPEC §14.2). Clique sur un chiffre souligné pour voir le détail de la mesure.
4 évals sur 10 atteignent toutes leurs cibles, 3 en partie, 0 aucune, 1 sans cible, 2 pas encore mesurées.
Toutes les cibles atteintesCibles en partie atteintesAucune cible atteinteSans cibleDernière mesure de chaque éval : 1,74 € au total. Le triage est mesuré avec le modèle du pipeline (Sonnet).
Signal lit-il un retour client comme le ferait un humain ?
Chaque retour est-il bien classé (type, domaine, tentative d'injection) ? Comparé à la bonne réponse sur des retours mis de côté, jamais utilisés pour régler les prompts.
Mesuré sur : Jeu réservé (evals/holdout), même échantillon de 60 retours pour les deux modèles : partie sonnet du comparatif
2 runs · précédent 95 %Huit situations piégeuses : plusieurs sujets dans un message, anglais, réponse automatique, ironie… Un cas est réussi si au moins 75 % de ses retours le sont.
Le même échantillon trié par deux modèles, pour choisir celui du pipeline : qualité, coût, rapidité. Pas de cible : la décision est documentée.
Même échantillon de 60 retours du jeu réservé · 8 oct. 2026, 16:05
| Modèle | Exactitude du type | Macro-F1 domaine | Coût, 214 retours | Latence médiane |
|---|---|---|---|---|
| Haiku | 95,2 % | 0,879 | 6,5 s (p95 10,4 s) | |
| Sonnetdans le pipeline | 90,3 % | 0,911 |
Retrouve-t-il les vrais problèmes, estime-t-il juste, et son classement tient-il ?
Les huit problèmes cachés dans le jeu de démo sont-ils retrouvés, chacun dans un seul insight propre ? Réglé et mesuré sur le même jeu : chiffre optimiste.
Respecte-t-il ses garde-fous et choisit-il le bon outil ?
Six pièges : consigne cachée dans un retour, chiffre inventé, ID inexistant, envoi Notion sans validation, donnée absente, demande hors stratégie.
Le backlog est-il au bon format, et le juge qui le note est-il fiable ?
Le modèle qui note le backlog est-il d'accord avec le PO ? Comparé à quinze éléments notés à la main avec la même grille.
Au-delà des jeux de test : ce que le PO garde vraiment de Signal, et ce que coûte un passage complet du pipeline.
Calculé depuis le journal de ses décisions réelles, pas sur un jeu de test
Cible manquée : E8 · Ironie : sentiment négatif (2/3)
Mesuré sur : Jeu de développement (retours à cas limite), modèle haiku ; E2 et E7 lus en base
Mesuré sur : Jeu réservé (evals/holdout), même échantillon de 60 retours pour les deux modèles
| 2,9 s (p95 11,9 s) |
Cibles du triage : exactitude ≥ 90 %, macro-F1 ≥ 0,85. Latence mesurée avec 8 appels en parallèle. Le pipeline garde Sonnet pour son domaine plus juste, dont dépend le regroupement (ADR-041) ; Haiku, bien moins cher, deviendrait le bon choix à fort volume.
Les situations piégeuses, une par une · réussie quand au moins 75 % de ses retours le sont
Cible manquée : Patterns détectés (7/8) · S4 : rappel / pureté (I-39) (67 % / 100 %)
Mesuré sur : Jeu de développement (en base), réglé et mesuré sur le même jeu
Chaque ticket déjà livré est ré-estimé à partir des 39 autres, sans voir son résultat : la fourchette contient-elle les points réels ?
Cible manquée : Erreur moyenne de l'équipe (estimated_points), mêmes tickets (0,30 (Signal : 0,90))
Mesuré sur : Tickets de référence (data/reference_tickets.json), leave-one-out, 10/40 tickets
Premier run, pas de tendanceRelancé cinq fois sur les mêmes données, le classement reste-t-il le même ? Un modèle n'est pas déterministe ; les priorités doivent l'être.
Mesuré sur : Insights classés en base (jeu de développement), top 10, mode comptes, 1 runs
Premier run, pas de tendanceMesuré sur : Scénarios scriptés (evals/guardrails.json) sur les données de démo en base
Vingt demandes du PO : l'agent choisit-il le bon outil ? Et l'enquête sur une alerte n'appelle-t-elle jamais un outil qui écrit ?
Pas encore mesuré.
pnpm eval:guardrails --toolsMesuré sur : Jeu de calibration (evals/human-labels) : 15 éléments annotés par le PO, dont 5 dégradés
Le backlog rédigé a-t-il le bon format (bug, epic et stories, tâche) et une note suffisante du juge calibré ?
Pas encore mesuré.
pnpm eval:backlogOpus note le backlog ; on vérifie d'abord qu'il note comme le PO, sur 15 éléments annotés à la main
Juge calibré : il note le backlog (badge qualité).
Tous les retours traités d'un coup (triage, regroupement, scores, digest) · dernier run : 27 oct. 2026, 14:35