Pourquoi notre corpus médical français utilise 32 % de tokens en moins.
Méthode, portée et limites d’un tokenizer entraîné sur des documents médicaux français — sans confondre compression et intelligence clinique.
Un tokenizer spécialisé peut représenter le même corpus avec moins de fragments. Ce gain réduit la longueur des séquences ; il ne démontre pas, à lui seul, une meilleure compréhension.
Le coût caché de la fragmentation
Un modèle ne lit pas directement les mots. Son tokenizer les transforme en unités. Lorsqu’un terme médical français est mal représenté dans le vocabulaire, il peut être découpé en plusieurs fragments, ce qui augmente la longueur de la séquence et réduit la quantité de texte utile dans une fenêtre de contexte donnée.
Nous avons donc entraîné un tokenizer sur un corpus de 32 534 documents médicaux français et gardé 3 254 documents à l’écart pour la comparaison.
Le résultat observé
Sur le jeu d’évaluation interne, le tokenizer Medyx utilise en moyenne 1,3247 unité contre 1,9378 pour la baseline Mistral étudiée selon notre protocole. La réduction relative est proche de 32 %.
Ce résultat signifie que le même contenu est représenté par des séquences plus courtes dans ces conditions. Il peut améliorer l’efficacité d’un entraînement ou d’une inférence, mais l’effet réel dépend du modèle, du matériel, du batch et du workflow complet.
Ce que nous ne revendiquons pas
Une meilleure compression ne prouve ni une meilleure exactitude médicale, ni un meilleur raisonnement, ni une réduction automatique des hallucinations. Elle ne permet pas non plus de comparer deux modèles complets lorsque seul leur tokenizer a été mesuré.
Le checkpoint actuellement enregistré reste un artefact de recherche. Il n’est pas présenté comme un endpoint de génération disponible.
Ce qu’il faut publier pour rendre le résultat critiquable
Une version publique complète devra préciser la constitution du corpus, les licences, les règles de nettoyage, la définition de l’unité mesurée, la version exacte de la baseline et la distribution des gains par type de document.
Les moyennes devront être accompagnées de cas où le tokenizer spécialisé fait moins bien, notamment les documents peu médicaux, multilingues ou fortement structurés.
Pourquoi ce travail reste utile
Le tokenizer est une brique de Models, pas un produit autonome. Il devient utile lorsqu’il est relié à une model card, une version, un coût mesuré et un protocole Evaluate reproductible.