Un score de similarité de 1,0 peut masquer un changement médical important.
Ce qu’un échec de notre première méthode d’alignement nous a appris sur la différence entre proximité sémantique, égalité textuelle et importance métier.
La similarité aide à retrouver deux passages qui parlent de la même chose. Elle ne doit jamais décider, à elle seule, qu’aucun changement n’a eu lieu.
Une règle raisonnable sur le papier
Pour comparer deux versions d’un document, Medyx doit d’abord déterminer quels passages de la version A correspondent à ceux de la version B. Nous utilisons des embeddings multilingues pour rapprocher les passages qui traitent du même sujet, même lorsque leur formulation ou leur position a changé.
La première version appliquait ensuite un second seuil : lorsqu’une paire appariée dépassait 0,98 de similarité cosinus, elle était considérée comme inchangée. Cette règle semblait prudente. Elle évitait de remonter des reformulations insignifiantes et réduisait le bruit présenté au relecteur.
Le benchmark a invalidé l’hypothèse
Nous avons exécuté le vrai code d’alignement sur un pool initial de 182 paires extraites de documents EMA avec suivi des modifications. Dans ce diagnostic, 85 changements réels étaient classés comme inchangés. Plusieurs paires obtenaient une similarité de 1,0 alors que leur texte différait.
Les erreurs les plus instructives concernaient des modifications courtes : un seuil de poids, un âge pédiatrique, une abréviation ou une valeur dans un tableau. Pour un embedding généraliste, les deux phrases restent extrêmement proches. Pour une équipe réglementaire, la différence peut pourtant modifier la revue attendue.
Séparer appariement, changement et gravité
Nous avons supprimé la règle qui assimilait forte similarité et absence de changement. Une paire n’est désormais considérée comme inchangée que si les textes sont exactement égaux. La similarité reste utile pour l’appariement ; elle ne sert ni à conclure qu’un passage est stable, ni à estimer la gravité du changement.
La gravité reste volontairement à « revue » tant qu’aucun signal qualifié ne permet de la déterminer. Cette séparation évite qu’une mesure mathématique pratique soit présentée comme un jugement médical ou réglementaire.
- Similarité : quels passages comparer ?
- Égalité textuelle : le contenu a-t-il strictement changé ?
- Qualification métier : quelle importance donner au changement ?
Ce que ces nombres ne prouvent pas
Les 182 cas constituaient un pool de mise au point, pas un golden set validé. Depuis cette expérience, les doublons et cas sans différence exploitable ont été retirés, ce qui laisse 117 candidats. Une sélection humaine de 20 à 50 cas doit encore être relue avant de publier un score de performance.
Nous publions donc ce résultat comme une analyse d’échec reproductible, pas comme une validation clinique. Sa valeur est ailleurs : il a empêché une hypothèse silencieuse de devenir une règle produit.
La prochaine mesure utile
Le prochain protocole devra utiliser des documents complets mêlant passages stables et modifiés. Il mesurera séparément le rappel des changements, la précision des alertes, la qualité des appariements et le temps de revue humaine.
Un score global ne suffira pas. Les erreurs seront ventilées par longueur, section, type de modification et conséquence attendue pour le workflow de validation.