Comment fonctionnent les détecteurs d’IA ? Perplexité, burstiness et classifieurs

Les détecteurs d’IA fonctionnent en mesurant à quel point un texte est prévisible. La plupart font passer le texte dans un modèle de langage et vérifient la probabilité de chaque mot, compte tenu des mots qui le précèdent. Un texte constamment facile à prédire paraît produit par une machine. Un texte aux choix de mots plus surprenants et plus irréguliers paraît humain. Beaucoup d’outils commerciaux y ajoutent un classifieur entraîné qui a appris la différence à partir de grands ensembles d’exemples étiquetés.

Voilà l’idée de base. Les détails expliquent pourquoi les détecteurs sont utiles, et aussi pourquoi ils se trompent.

La question de base que pose un détecteur

Un détecteur ne comprend pas votre argumentation, ne vérifie pas vos faits et ne sait pas qui vous êtes. Il regarde la surface du texte, les mots et leur agencement, et pose une seule question statistique : ce texte ressemble-t-il davantage à ce que produirait un modèle de langage, ou à ce que produisent les gens ?

Pour y répondre, les détecteurs utilisent plusieurs types de signaux. La plupart des outils modernes en combinent plusieurs.

Signal 1 : la perplexité

La perplexité est une mesure de la surprise. Prenez un modèle de langage, donnez-lui votre texte mot par mot et, à chaque étape, demandez-vous quelle était la probabilité du mot qui suit réellement.

Prenez cette phrase : « Le chat dort sur le ___. » Un modèle prédira « canapé », « lit » ou « tapis » avec une grande confiance. Si le mot suivant est « canapé », la perplexité est faible. Si c’est « manuscrit », elle est élevée.

Les modèles de langage génèrent du texte en choisissant des mots probables. Leur production, mesurée par un modèle similaire, a donc tendance à avoir une perplexité faible du début à la fin. Les gens choisissent leurs mots pour plein de raisons : l’habitude, l’humour, un souvenir précis, une tournure un peu étrange qu’ils aiment bien. Cela fait monter la perplexité.

Certains des premiers détecteurs s’appuyaient fortement sur ce seul chiffre. Le problème, c’est qu’une bonne partie de l’écriture humaine est elle aussi prévisible. Un compte rendu de TP, un résumé juridique ou une dissertation écrite en suivant une grille de notation peuvent tous obtenir une perplexité faible, simplement parce que le genre est très codifié.

Signal 2 : la burstiness

La burstiness observe comment la perplexité évolue au fil du texte. Une personne peut écrire deux phrases banales, puis une avec une image inattendue, puis un fragment. La prévisibilité fait des bonds. Le texte IA a tendance à garder un niveau stable du début à la fin.

La même idée se retrouve dans des mesures plus simples, comme la variation de la longueur des phrases. Un paragraphe humain mêle souvent une phrase de 30 mots et une phrase de 4 mots. Un paragraphe généré par un modèle a tendance à garder ses phrases dans une fourchette étroite.

GPTZero a popularisé le duo perplexité et burstiness à son lancement début 2023, et les termes sont restés. Ses modèles actuels utilisent plus que ces deux mesures, mais elles restent un bon moyen de comprendre ce que cherchent les détecteurs.

Signal 3 : les classifieurs entraînés

L’approche la plus courante aujourd’hui dans les détecteurs commerciaux est le classifieur : un modèle d’apprentissage automatique entraîné sur un grand ensemble de textes étiquetés « humain » et « IA ». Il apprend toutes les caractéristiques qui séparent les deux groupes, y compris celles qu’aucune personne ne penserait à nommer.

Les classifieurs reposent souvent sur la même technologie transformer que les chatbots eux-mêmes. Ils peuvent être assez bons sur des textes qui ressemblent à leurs données d’entraînement. Ils peinent sur ceux qui n’y ressemblent pas, par exemple :

• Les textes produits par un modèle plus récent que le classifieur n’a jamais vu
• Les langues ou variantes rares dans les données d’entraînement
• Les genres sous-représentés, comme la poésie ou la documentation technique
• Les textes mixtes, où une personne a écrit certaines parties et l’IA les autres

C’est pourquoi les éditeurs réentraînent régulièrement leurs détecteurs, et pourquoi un même texte peut obtenir un score différent avec le même outil à quelques mois d’intervalle.

Signal 4 : les filigranes

Le filigrane (watermarking) est une approche différente. Au lieu de deviner après coup, l’entreprise qui fait tourner le modèle oriente légèrement ses choix de mots selon un motif statistique caché pendant la génération. Un détecteur associé peut ensuite rechercher ce motif.

Les trois grands chatbots le font désormais pour au moins une partie de leurs textes. Google marque les textes de l’application Gemini avec SynthID depuis 2024 (comment fonctionne SynthID). Anthropic a commencé à ajouter un filigrane aux textes de Claude en août 2026 (ce qu’en dit Anthropic), et OpenAI ajoute son filigrane textGrain aux textes de ChatGPT dans l’UE à partir d’octobre 2026 (où il s’applique). Les filigranes peuvent être assez fiables quand ils sont présents. Le problème, c’est que seule l’entreprise qui a créé le modèle détient la clé permettant de les rechercher, que beaucoup de textes en circulation n’en portent aucun, et qu’une réécriture importante ou une traduction affaiblit le signal.

Pour l’instant, presque tous les détecteurs que vous croiserez, y compris ceux utilisés dans les écoles, reposent donc sur les méthodes statistiques ci-dessus plutôt que sur des filigranes.

Comment tout cela devient un score

Les outils présentent leurs résultats de différentes façons :

• Un pourcentage unique, souvent présenté comme la part du texte probablement générée par IA.
• Un surlignage par phrase ou par paragraphe, qui montre quelles parties ont fait monter le score.
• Des catégories, comme entièrement IA, retouché par IA ou écrit par un humain. Le Détecteur IA de RealWrite utilise quatre catégories pour que vous voyiez une écriture mixte plutôt qu’un verdict unique.

Quel que soit le format, le chiffre est une estimation de probabilité, pas un constat. Un score de 80 % ne veut pas dire que 80 % des mots ont été tapés par une machine. Il veut dire que le modèle est assez confiant que le texte ressemble à ses exemples IA.

Pourquoi les détecteurs d’IA se trompent

Une fois qu’on sait comment fonctionnent les détecteurs, leurs défaillances sont faciles à prévoir.

Les genres prévisibles ressemblent à de l’IA

L’écriture formelle et structurée a, par nature, une perplexité faible. Les résumés d’articles, les lettres de motivation, les descriptions de produits et les dissertations standardisées suivent des conventions qui rendent le mot suivant facile à deviner. Les auteurs humains de ces genres sont plus souvent signalés.

Les non-anglophones natifs sont plus souvent signalés

Les personnes qui écrivent dans une seconde langue utilisent souvent un vocabulaire plus restreint et plus sûr, et des structures de phrases plus régulières. Ce sont exactement les caractéristiques que les détecteurs associent à l’IA. Une étude de Stanford de 2023 menée par Weixin Liang, publiée dans la revue Patterns, a montré que plusieurs détecteurs populaires classaient comme générée par IA une large part de dissertations du TOEFL écrites par des non-natifs, tout en évaluant bien plus justement les dissertations d’élèves américains. Nous détaillons ce point dans les faux positifs des détecteurs d’IA.

Les textes courts ne donnent pas assez de signal

Les mesures statistiques ont besoin de données. Un paragraphe de 100 mots ne contient tout simplement pas assez de mots pour une estimation fiable. Beaucoup d’outils fixent une longueur minimale pour cette raison, et les résultats proches de ce minimum sont les moins stables.

La réécriture brouille la frontière

Les textes réels sont de plus en plus mixtes. Quelqu’un rédige avec l’IA et réécrit la moitié. Quelqu’un écrit à la main et utilise un correcteur pour peaufiner. Les détecteurs ont surtout été entraînés sur des exemples bien tranchés de chaque catégorie, si bien que les textes mixtes tombent dans une zone d’incertitude.

La traduction brouille le signal

Un texte écrit dans une langue puis traduit automatiquement dans une autre hérite d’une partie de la régularité du modèle de traduction. Un texte écrit par IA puis traduit perd une partie de ses motifs d’origine. Dans les deux cas, le détecteur n’examine plus le type d’écriture qu’il a été entraîné à juger, et ses résultats deviennent moins fiables.

Les correcteurs peuvent pousser un texte vers « IA »

Les suggestions de grammaire et de style agressives ont tendance à rendre la prose plus lisse et plus uniforme. Acceptez-en suffisamment et votre texte original peut commencer à ressembler statistiquement à la production d’un modèle.

À quoi servent les détecteurs

Rien de tout cela ne rend les détecteurs inutiles. Bien utilisés, ils offrent un second avis rapide. Un score élevé sur un brouillon est une bonne raison de le relire : les phrases ont-elles toutes la même longueur ? Y a-t-il des formules toutes faites dans chaque paragraphe ? Y a-t-il quoi que ce soit de précis ?

C’est ainsi que nous conseillons d’utiliser n’importe quel détecteur, y compris le nôtre. Vérifiez un brouillon avant de le rendre, regardez quelles parties obtiennent un score élevé et révisez-les pour qu’elles vous ressemblent davantage. La page comment ça marche montre cette boucle dans RealWrite.

Ce que les détecteurs ne devraient pas être, c’est la seule preuve dans une décision sur le travail de quelqu’un. Même les entreprises qui les conçoivent le disent. Turnitin, par exemple, indique aux enseignants que son score IA ne doit pas servir de seul fondement à une mesure contre un étudiant. Notre article sur Turnitin explique ce que montre son rapport.

En bref

• Les détecteurs mesurent la prévisibilité, pas le sens.
• La perplexité, c’est la surprise au niveau du mot. La burstiness, c’est la variation de cette surprise.
• La plupart des outils commerciaux ajoutent des classifieurs entraînés, qui doivent être réentraînés en permanence.
• Les filigranes sont prometteurs mais rares en pratique.
• Les genres formels, les auteurs non natifs, les textes courts et les textes retravaillés sont les cas où les détecteurs se trompent le plus.

Si vous voulez voir le score de votre propre texte, vous pouvez lancer une vérification gratuite avec RealWrite. Et si vous hésitez entre plusieurs outils, notre comparatif des meilleurs détecteurs d’IA présente les principales options côte à côte.