La tâche
Ce qui a été demandé au système et ce qui reste hors du protocole.
Nous publions les méthodes, jeux d’évaluation et résultats qui permettent de juger nos systèmes — y compris les conditions où ils échouent.
117 changements documentaires EMA, leur distribution réelle, la méthode qui les retrouve et les limites qui empêchent encore toute conclusion clinique.
Ouvrir l’index et les donnéesCe qu’un échec de notre première méthode d’alignement nous a appris sur la différence entre proximité sémantique, égalité textuelle et importance métier.
Lire la noteSur 59 textes RCP complets évalués en commun, Tier 1 obtient une perplexité 5.49 fois plus faible que le témoin générique. Cette preuve porte sur l’adaptation au langage RCP, pas sur l’exactitude clinique.
Ce qui a été demandé au système et ce qui reste hors du protocole.
La comparaison exacte, sa version et les mêmes conditions d’exécution.
Leur distribution, leur gravité et les catégories sous-représentées.
Résultats, erreurs et protocoles reproductibles.
Conséquences opérationnelles des cadres européens et pharmaceutiques.
Décisions d’architecture, limites et arbitrages produit.
Une édition versionnée, téléchargeable et prête à citer.
02Scores ventilés par tâche, domaine et catégorie d’erreur.
03Analyses d’échecs et décisions de conception au fil de la construction.
04Datasets, schémas, protocoles et model cards réutilisables.