Can AI Detectors Really Know Who Wrote a Text?

There is something deeply unsettling about watching a machine question something you know with absolute certainty. I discovered that while testing several of the artificial intelligence detectors that have become increasingly popular in universities, businesses, newsrooms and workplaces. The promise behind these services is remarkably straightforward. You take a piece of writing, paste it into a website, wait a few seconds and receive a percentage supposedly indicating how likely it is that the text was written by artificial intelligence. In an era when ChatGPT, Gemini and other large language models can produce thousands of words almost instantly, it is easy to understand why the idea is so attractive. Teachers want to know whether students are submitting AI generated essays. Employers want to know whether applicants are using machines to produce documents. Editors want to know whether an article was actually written by the person whose name appears on it. The technology appears to offer a simple solution to an increasingly complicated problem. But there is a catch, and it is a rather important one. These systems do not actually know who wrote a text. They examine linguistic and statistical characteristics and then make an educated guess about where the text may have come from. That distinction may seem minor when the detector is being used for curiosity. It becomes enormous when the result is used to accuse someone of cheating, dishonesty or professional misconduct.

I decided to test the technology myself, beginning with what should have been the easiest possible challenge. I submitted texts whose authorship I knew beyond any doubt because I had written them myself. There was no mystery, no hidden collaborator and no artificial intelligence involved in their creation. I tested several services available online, including AI Detector, AI Checker, Copyleaks, Grammarly and Pangram. Most of these services offer restricted free versions and then ask users to subscribe to paid plans. Some require an account or an email address. None of that was particularly relevant to my experiment. I was not interested in their business models. I wanted to know something much more basic. If I give a machine a text that I know was written entirely by a human being, can the machine recognize that fact?

The answer was considerably less reassuring than I expected. Depending on the service, a noticeable portion of my own writing was sometimes identified as potentially generated by artificial intelligence. On the same text, the estimates could vary roughly from 10 percent to 50 percent. The numbers were different from one service to another, and the differences were sometimes large enough to make the scores difficult to interpret. A document whose origin was completely obvious to me could suddenly be presented by a machine as partly artificial. The experience became almost surreal after several tests. If I had decided to trust every number without question, I would eventually have had to wonder whether the detectors believed some part of my own brain was secretly running a language model.

There is an important qualification here. My experiment was personal, not scientific. It was not conducted under controlled laboratory conditions, and it cannot establish the overall error rate of every AI detector available today. It would be wrong to use a handful of tests to declare that every detection service is unreliable. But the experience raises a legitimate question, particularly because independent researchers have encountered many of the same problems. In 2024, Jean Hugues Roy of the Université du Québec à Montréal examined three AI detection systems, GPTZero, ZeroGPT and Winston, using 300 texts that included human written news articles, texts generated entirely by GPT 4 and hybrid texts combining human writing with artificial intelligence. His analysis found too many false negatives, meaning AI generated texts that were not recognized as such, for the systems to be considered reliable. More importantly, some of the tools also produced false positives, identifying human written material as AI generated. That distinction matters enormously in education. A system that occasionally misses an AI generated text may be imperfect but still useful as a warning. A system that can accuse an innocent person creates a completely different problem.

The difference between an indication and a verdict is at the heart of this entire debate. If a detector says that a document deserves closer examination, there is nothing inherently unreasonable about taking another look. A teacher can ask questions. An editor can examine drafts. An employer can review the history of a document. But if a detector says, in effect, that a person used artificial intelligence, the situation changes immediately. A percentage on a screen can become an accusation, and an accusation can become a punishment. The danger is not necessarily that the technology is always wrong. The danger is that people may forget that it can be wrong.

The problem becomes even more troubling when we look at the way these systems react to different kinds of human writing. A 2023 study by researchers at Stanford University examined seven AI detectors and found a striking bias against writing produced by people whose first language was not English. More than half of the TOEFL essays written by nonnative English speakers in the study were incorrectly classified as AI generated, producing an average false positive rate of 61.3 percent. Almost every essay in the sample, 97.8 percent, was flagged by at least one of the detectors. The researchers linked the problem in part to statistical characteristics such as perplexity, a measure related to how predictable the sequence of words in a text is. The more predictable the language, the more likely some detectors were to regard it as machine generated. That sounds reasonable until you realize that predictable language is not exclusive to machines. Humans produce it all the time.

A person writing in a second language may have a smaller vocabulary, use more conventional sentence structures or rely on familiar expressions. A person who has learned English formally may write in a careful and highly structured way. A technical writer may deliberately avoid unusual language. A journalist may follow a strict editorial style. None of these people is a machine. Yet their writing can contain precisely the statistical characteristics that a detector associates with AI. The Stanford researchers found something particularly revealing when they modified the vocabulary of the nonnative English essays to make the language more sophisticated and closer to native English usage. The false positive rate dropped dramatically. In other words, the same human writing could become less suspicious simply because its vocabulary had been changed. When the researchers simplified the vocabulary of native English writing, the opposite effect occurred and the likelihood of an AI classification increased.

That finding exposes one of the strangest weaknesses in the current generation of AI detectors. They are not necessarily recognizing artificial intelligence. They are recognizing patterns that they associate with artificial intelligence. Those patterns can also be produced by perfectly ordinary human beings. The distinction is crucial. A machine cannot look at a sentence and understand why the author chose it. It cannot know that the writer has always used the same style. It cannot recognize the personality behind the words. It does not know whether the author spent twenty years developing that particular way of writing. It sees a collection of linguistic patterns and attempts to classify them. When those patterns overlap between humans and machines, the detector has no way of knowing which explanation is true.

That made me look differently at my own results. Why could passages I had written myself sometimes appear artificial? One possible explanation is simply that my writing has a certain degree of regularity. I tend to organize arguments carefully. I sometimes use precise vocabulary. I often build a paragraph around a central idea and then develop it in a logical sequence. To another human being, those characteristics might simply look like organized writing. To a statistical model, they may contribute to predictability. There is therefore a strange paradox at work. The more consistent and structured your writing becomes, the more easily a machine may be able to identify statistical patterns that resemble those found in generated text. In a system designed to catch artificial writing, being predictable can become suspicious.

I also wanted to understand whether the technical process of submitting a document could somehow influence the result. I tested texts created in both Apple Pages and Microsoft Word, and the results were broadly comparable. It would be tempting to blame formatting, hidden document information or something carried over during copy and paste, but there is not enough transparency from these services to establish that such factors explain the results. What is clear is that the process is less transparent than the interface suggests. A user places a document into a system and receives a percentage. Between those two moments, however, an enormous amount of computation is taking place, much of which remains invisible. Users generally do not know exactly which characteristics were examined, how those characteristics were weighted or why one passage contributed to the final score in a particular way. The result looks precise, but the reasoning behind it is often difficult for an outsider to inspect.

I then decided to reverse the experiment completely. If my human writing could sometimes be suspected of being artificial, what would happen if I deliberately submitted text that really had been generated by artificial intelligence? I asked ChatGPT and Gemini to produce texts from scratch. This time there was no ambiguity. I had not written the sentences. I had not prepared the paragraphs. The systems themselves had generated the material. One might reasonably expect AI detectors to perform especially well under those circumstances. Some of the texts were indeed recognized as artificial, but the results were not always as clear or consistent as one might expect. Some systems appeared more confident than others, and the scores could vary significantly. The experience reinforced an uncomfortable conclusion. Detection is not a simple yes or no test. It is a prediction based on characteristics that can change when the text itself changes.

Researchers have repeatedly demonstrated that problem. AI generated text can become harder to detect when it is paraphrased, edited or produced under different conditions. The Stanford researchers found that relatively simple changes in prompting and vocabulary could affect detection performance significantly. This creates a fundamental weakness for any system that depends on the assumption that machine generated writing carries a stable and recognizable fingerprint. The moment the writing changes, the fingerprint can change with it.

A 2026 study from researchers at the University of Florida made the problem even harder to dismiss. Patrick Traynor and his colleagues evaluated five commercial AI text detectors using a collection of approximately 6,000 papers submitted to leading security conferences before the arrival of ChatGPT. The researchers then asked large language models to create AI generated versions of those papers and tested the resulting material against commercial detection systems. The results varied dramatically. False positive rates ranged from 0.05 percent to 68.6 percent, while false negative rates ranged from 0.3 percent to 99.6 percent. The researchers also found that relatively simple changes to AI generated material could cause detector performance to deteriorate sharply. Their conclusion was blunt: commercial AI detection systems were poorly suited to academic and other high-stakes environments.

That finding is particularly important because it changes the question we should be asking. The issue is not whether an AI detector can sometimes identify AI generated writing. Clearly, some can. The issue is whether the technology is reliable enough to be trusted when being wrong could seriously harm someone. In a university, an accusation of using AI can affect a student’s grade, academic record, scholarship or future opportunities. In journalism, it can damage the credibility of a reporter. In the workplace, it can influence an employer’s judgment about an employee’s honesty or competence. Once the consequences become serious, a technology needs to meet a much higher standard than simply being right more often than it is wrong.

There is another problem that is easy to overlook because percentages have an almost magical authority in modern life. When a detector says that a document has a 40 percent probability of being AI generated, the number looks scientific. But what exactly does 40 percent mean? It does not necessarily mean that 40 percent of the words were written by a machine. It does not necessarily mean that the system has identified a 40 percent certainty about the actual author. In many cases, the number is a score calculated from linguistic and statistical characteristics and interpreted according to the system’s own methodology. Two detectors can examine the same document and produce dramatically different scores. Neither is necessarily measuring an objective quantity that exists independently in the text.

This is where artificial precision becomes dangerous. A sentence such as “This writing looks unusual” sounds uncertain. A sentence such as “AI probability: 47 percent” sounds scientific. The number gives the impression that the machine has measured something with great accuracy. But mathematical precision and factual certainty are not the same thing. A computer can calculate a number to several decimal places while still making an uncertain inference. The number may be precise even when the underlying conclusion is not.

The commercial claims surrounding some AI detectors deserve the same scrutiny. Claims of extremely high accuracy can sound impressive, but accuracy depends on how the system was tested, what material was used, what definition of success was applied and whether independent researchers can reproduce the results. The Stanford researchers have specifically warned about the difficulty of evaluating commercial detectors when the underlying models, training data and test datasets are not publicly available. If a company tells us that its system is extraordinarily accurate, the natural response should not be applause. It should be a question: accurate under what circumstances?

That question becomes especially uncomfortable when the system is used in education. Imagine a professor receives an essay accompanied by an AI detection score of 40 percent. The number may immediately create suspicion. But what does the detector actually know about the student? It does not know whether the student wrote a first draft three weeks earlier. It does not know whether the student kept handwritten notes. It does not know which books or articles the student consulted. It cannot ask the student to explain the argument. It cannot compare the essay with earlier assignments. It cannot listen to the student explain why a particular conclusion was reached. It cannot examine the revision history of the document. It has none of that context. It has only the final text.

A human investigator can do much more. A professor can ask questions. They can examine drafts. They can review document history. They can look at sources. They can compare the student’s work with previous assignments. They can ask the student to explain an argument in their own words. None of those methods is perfect, but together they provide something an AI detector cannot provide: evidence about the process through which the work was actually created. That distinction matters because authorship is not contained entirely inside the final words. It is also contained in the history of those words.

The same principle applies outside universities. A newsroom investigating whether an article was improperly generated by AI can examine interview recordings, notes, source documents and earlier drafts. A company can look at project files, communications and revision histories. A publisher can compare manuscripts and editorial changes. In each case, the process provides evidence. The detector can potentially add another signal, but it should not be confused with the complete story.

That does not mean these tools have no value. They can be useful as warning systems. They can identify documents that deserve closer attention. They can encourage a teacher, editor or manager to ask additional questions. They can perhaps become useful educational tools when used to help writers understand repetitive patterns or overly predictable language. But their role should stop there. They can be part of an investigation. They should not become the investigation itself. Most importantly, their output should never be treated as conclusive proof that a person used artificial intelligence.

There is something almost circular about the technology we have created. We built machines capable of producing writing that increasingly resembles human writing. Then, faced with that development, we built other machines designed to determine whether the first machines had produced it. We are now discovering that the second generation of machines can fail in both directions. They can miss AI generated writing and they can accuse human beings. As language models evolve, the systems designed to detect them have to evolve as well. The result is a technological race in which the definition of what looks artificial keeps moving.

My own experiment therefore left me with a question that seems more important than whether any particular detector is good or bad. What should we do when we already know the machine can be wrong? If a detector falsely identifies a human written text, that is not simply an interesting technical glitch. It is a warning about what the score can and cannot tell us. The UQAM research shows that false positives can occur in experimental testing. The Stanford research shows that nonnative English writers can be particularly vulnerable to those errors. The University of Florida research shows that commercial detectors can produce dramatically different results and can be undermined by relatively simple modifications. None of this proves that AI detection is impossible. It does, however, make certainty difficult to justify.

We should therefore resist one of the most seductive assumptions of the digital age: that a number produced by a computer is automatically more objective than a judgment made by a human being. Computers are extraordinarily good at calculation. They are not automatically good at understanding context. They can process enormous quantities of information without knowing which piece of information matters most. They can produce a consistent answer without understanding the consequences of that answer. They can be extremely fast and extremely confident while still being wrong.

Perhaps that is the most important lesson AI detectors are teaching us. We thought artificial intelligence would force us to learn how to distinguish human writing from machine generated writing. It may instead force us to learn something more fundamental about evidence. We need to distinguish an indication from a proof. We need to understand that a probability is not an accusation and that an algorithmic score is not a witness. A detector can say that a text resembles patterns associated with artificial intelligence. It cannot, by itself, tell us who sat at the keyboard.

There is still a human being on the other side of every percentage. That person may be a student who spent days writing an essay. It may be a journalist who conducted interviews and rewrote an article repeatedly. It may be an employee who carefully prepared a report. It may be someone writing in a second language. Or it may simply be a person whose style happens to resemble the statistical patterns that a machine associates with AI. Once the detector raises its suspicion, someone still has to decide what that suspicion means. That decision should involve context, evidence, conversation and the willingness to accept that the machine may be wrong.

We are entering a period in which artificial intelligence will increasingly shape education, journalism, business and everyday communication. It is entirely reasonable for institutions to look for tools that can help distinguish human work from machine generated material. What is not reasonable is to pretend that the problem has already been solved simply because a website can produce a percentage in a few seconds. AI detectors can provide clues. They can raise questions. They can help direct attention. But they cannot yet reliably transform uncertainty into certainty.

And that may be the real lesson hidden inside all those percentages. When the question is who actually wrote a text, technology can help us investigate. It can give us another piece of information. It can tell us that something deserves a closer look. But when someone’s education, reputation or career is at stake, the final decision should remain firmly in human hands. The difference is not a technical detail. It is the difference between investigating and accusing.

Thierry De Clemensat

French journalist Based in Austin, Texas, Writes on Jazz, Culture and Global Society

Image created by Gemini

Web sources:

Jean Hugues Roy, Université du Québec à Montréal, “Les détecteurs d’IA sous la loupe”:
https://archipel.uqam.ca/19854/

Weixin Liang, Mert Yuksekgonul, Yining Mao, Eric Wu and James Zou, “GPT detectors are biased against non native English writers,” Patterns:
https://doi.org/10.1016/j.patter.2023.100779

Stanford Human Centered AI, “AI Detectors Biased Against Non Native English Writers”:
https://hai.stanford.edu/news/ai-detectors-biased-against-non-native-english-writers

University of Florida, “Watching the detectors: Researchers probe efficacy and danger of AI detection tools”:
https://news.ufl.edu/2026/05/traynor-ai-detector-study/

FICS Research, University of Florida, “Commercial AI Text Detectors Lack Robustness for High Stakes Environments”:
https://fics.institute.ufl.edu/2026/05/20/commercial-ai-text-detectors-lack-robustness-for-high-stakes-environments/

French:

Les détecteurs d’IA peuvent-ils vraiment savoir qui a écrit un texte ?

À l’heure où l’intelligence artificielle s’invite dans les universités, les entreprises, les rédactions et jusque dans nos conversations quotidiennes, une nouvelle promesse technologique s’est imposée avec une facilité déconcertante : celle de pouvoir déterminer, presque instantanément, si un texte a été écrit par un être humain ou par une intelligence artificielle. Le principe paraît séduisant. Il suffirait de copier un texte dans un service spécialisé, d’attendre quelques secondes et de découvrir un pourcentage censé représenter la probabilité que le texte ait été produit par une machine. Dans un monde où ChatGPT, Gemini et leurs concurrents peuvent produire des milliers de mots en quelques secondes, on comprend pourquoi cette idée rencontre un tel succès. Le problème est que cette apparente simplicité masque une réalité beaucoup moins rassurante. Les détecteurs d’IA ne sont pas des machines capables de reconnaître l’auteur d’un texte. Ils analysent des caractéristiques linguistiques et statistiques et tentent ensuite d’en déduire une origine probable. Cette nuance, qui peut sembler secondaire, devient pourtant essentielle dès lors que le résultat est utilisé pour accuser quelqu’un de tricherie, remettre en cause son travail ou prendre une décision susceptible d’avoir des conséquences sur sa carrière.

J’ai voulu faire l’expérience moi-même en partant d’un avantage assez rare dans ce domaine : je connaissais avec certitude l’origine des textes que j’allais soumettre. J’ai utilisé plusieurs détecteurs d’IA disponibles en ligne, notamment AI Detector, présenté comme un outil de détection pour ChatGPT et Gemini, AI Checker, Copyleaks, Grammarly et Pangram. La plupart de ces services fonctionnent avec des limitations plus ou moins importantes dans leur version gratuite et proposent ensuite des abonnements payants. Certains demandent également de créer un compte ou de communiquer une adresse électronique. Mais ce qui m’intéressait n’était évidemment pas leur modèle commercial. Je voulais savoir une chose beaucoup plus simple : si je soumets à ces machines un texte dont je sais avec une certitude absolue qu’il a été écrit par moi, vont-elles reconnaître qu’il est humain ?

La réponse, dans mon expérience, a été particulièrement déroutante. Les textes étaient écrits entièrement de ma main et dans ma langue maternelle. Pourtant, selon les services utilisés, une proportion parfois importante du contenu était présentée comme susceptible d’avoir été générée par une intelligence artificielle. Sur un même texte, les estimations pouvaient se situer approximativement entre 10 % et 50 %. Les chiffres changeaient d’un outil à l’autre et parfois de manière suffisamment importante pour rendre leur interprétation difficile. Un texte dont je connaissais parfaitement l’auteur pouvait donc être considéré comme partiellement artificiel par une machine, alors qu’il ne l’était pas. Après plusieurs essais, la situation devenait presque absurde. Si je devais croire aveuglément les pourcentages affichés par certains de ces services, il aurait fallu commencer à se demander quelle proportion de mon propre cerveau était censée fonctionner comme un modèle de langage.

Il faut évidemment prendre cette expérience pour ce qu’elle est : un test personnel et non une étude scientifique contrôlée. Elle ne permet pas de calculer le taux d’erreur général de tous les détecteurs existants et elle ne permet pas davantage d’affirmer que tous les services fonctionnent de la même façon. Mais elle met en évidence un problème beaucoup plus large qui a déjà été étudié par des chercheurs dans plusieurs pays. En 2024, Jean Hugues Roy, de l’Université du Québec à Montréal, a présenté une analyse consacrée à trois outils de détection, GPTZero, ZeroGPT et Winston. Son expérience portait sur 300 textes comprenant des articles humains, des textes entièrement produits par GPT 4 et des textes hybrides associant écriture humaine et génération artificielle. La conclusion est particulièrement intéressante : les trois outils produisaient suffisamment de faux négatifs, c’est à dire des textes générés par une IA qu’ils ne reconnaissaient pas comme tels, pour ne pas pouvoir être considérés comme fiables. Plus préoccupant encore, certains produisaient également des faux positifs, en considérant comme artificiels des textes écrits par des humains. L’UQAM estime que ces limites rendent leur utilisation potentiellement dangereuse lorsqu’il s’agit de sanctionner des infractions académiques.

Cette conclusion devrait déjà suffire à imposer une certaine prudence. Un outil qui ne reconnaît pas toujours les textes générés par une IA n’est pas nécessairement inutile. Il peut servir d’indicateur parmi d’autres. Mais un outil qui peut également accuser à tort un humain pose un problème fondamental dès lors que son résultat est transformé en preuve. Il existe une différence immense entre dire qu’un texte mérite d’être examiné plus attentivement et dire que son auteur a utilisé une intelligence artificielle. Le premier jugement appelle une vérification. Le second peut déclencher une sanction.

Le problème devient encore plus sérieux lorsqu’on examine la manière dont ces systèmes réagissent aux différentes façons d’écrire. Une étude réalisée par des chercheurs de Stanford et publiée dans la revue Patterns en 2023 a montré que plusieurs détecteurs d’IA étaient particulièrement susceptibles de classer comme artificiels des textes rédigés par des personnes dont l’anglais n’était pas la langue maternelle. Dans leur expérience, les sept détecteurs étudiés ont classé à tort plus de la moitié des textes TOEFL écrits par des auteurs non natifs comme étant générés par une IA. Le taux moyen de faux positifs atteignait 61,3 %. Plus spectaculaire encore, 97,8 % des textes avaient été signalés par au moins un des détecteurs. Les chercheurs ont notamment relié ce phénomène à des mesures statistiques comme la perplexité, qui évaluent notamment la prévisibilité des mots et des structures linguistiques.

Cette découverte dit quelque chose de très important sur le fonctionnement de ces outils. Ils ne reconnaissent pas nécessairement une intelligence artificielle. Ils reconnaissent certaines caractéristiques statistiques qu’ils associent à une intelligence artificielle. Or ces caractéristiques peuvent également appartenir à un humain. Une personne qui écrit dans une langue qui n’est pas sa langue maternelle peut avoir un vocabulaire moins diversifié, des constructions plus prévisibles ou une syntaxe différente de celle d’un locuteur natif. Pour un détecteur, ces caractéristiques peuvent ressembler à celles d’un texte généré. Le résultat est particulièrement ironique : une technologie conçue pour combattre la fraude peut finir par pénaliser précisément les personnes qui ont une manière d’écrire différente.

L’étude de Stanford va même plus loin. Les chercheurs ont montré qu’en modifiant le vocabulaire d’un texte humain écrit par des non anglophones afin de le rendre plus proche d’un style natif, le taux moyen de faux positifs diminuait fortement. À l’inverse, en simplifiant le vocabulaire de textes écrits par des anglophones natifs, la probabilité qu’ils soient considérés comme générés par une IA augmentait. Cela signifie que le détecteur ne regarde pas simplement l’origine réelle du texte. Il réagit aussi à la manière dont le texte est écrit. Autrement dit, une belle plume, un vocabulaire particulier ou au contraire une écriture simple et prévisible peuvent influencer le verdict d’une machine.

C’est précisément ce qui m’a conduit à réfléchir à mes propres résultats. Pourquoi certains passages écrits par moi pouvaient ils apparaître comme artificiels ? Une première explication est probablement liée aux caractéristiques mêmes de mon écriture. Lorsqu’un auteur possède une certaine régularité dans sa façon de construire ses phrases, lorsqu’il utilise un vocabulaire relativement précis ou lorsqu’il adopte une structure très organisée, il peut produire un texte statistiquement prévisible. Or la prévisibilité est justement l’une des caractéristiques utilisées par certains détecteurs. Il existe donc une situation pour le moins paradoxale dans laquelle écrire correctement, clairement et de manière structurée peut devenir un indice de suspicion.

Une deuxième question concerne la manière dont le texte arrive dans le détecteur. Dans mes essais, j’ai utilisé à la fois Pages d’Apple et Microsoft Word, et les résultats obtenus étaient globalement comparables. Il faut cependant rester prudent avant d’attribuer les résultats à d’éventuels codes ou éléments de formatage transportés lors d’un copier coller. Les services de détection ne rendent pas suffisamment transparent le détail de leurs traitements internes pour permettre d’affirmer qu’un tel mécanisme explique à lui seul les résultats. Ce que l’expérience montre en revanche, c’est que le processus qui consiste à prendre un document, à le copier, à le coller dans un service externe et à obtenir ensuite un score extrêmement précis n’est pas aussi simple qu’il en a l’air. L’utilisateur ne sait pas toujours exactement quelles informations sont analysées ni comment elles influencent le résultat.

J’ai alors décidé de retourner complètement l’expérience. Si mes propres textes humains pouvaient être soupçonnés d’avoir été produits par une IA, qu’allait-il se passer avec de vrais textes générés par une intelligence artificielle ? J’ai donc demandé à ChatGPT et à Gemini de produire des textes à partir de rien. Cette fois, je n’avais écrit aucune ligne. Les textes étaient générés par les systèmes eux mêmes. On pouvait donc raisonnablement s’attendre à ce que les détecteurs aient une tâche relativement facile. Pourtant, les résultats se sont révélés suffisamment variables pour renforcer mes doutes. Certains textes étaient bien identifiés comme artificiels, mais les scores et les conclusions n’étaient pas toujours aussi nets que l’on pourrait l’imaginer. Le contraste avec mes propres textes humains devenait particulièrement intéressant : les machines semblaient parfois hésiter face à des textes dont l’origine, pour moi, ne faisait aucun doute.

Là encore, mon expérience personnelle ne doit pas être transformée en démonstration scientifique. Mais elle rejoint une difficulté observée dans les travaux universitaires : la capacité d’un détecteur à reconnaître un texte produit par une IA peut diminuer lorsque le texte est modifié, paraphrasé ou simplement généré dans des conditions différentes de celles utilisées lors de son évaluation. Les chercheurs de Stanford avaient déjà montré que des stratégies relativement simples de modification pouvaient réduire fortement la capacité des détecteurs à identifier certains textes générés. En 2026, une nouvelle étude menée par des chercheurs de l’Université de Floride est venue apporter un avertissement encore plus sévère.

L’équipe dirigée notamment par Patrick Traynor a évalué cinq détecteurs commerciaux en utilisant un corpus d’environ 6 000 articles soumis à des conférences de premier plan avant l’apparition de ChatGPT, puis en demandant à des modèles de langage de produire des versions artificielles de ces textes. Les résultats ont montré des écarts considérables entre les outils. Les taux de faux positifs observés allaient de 0,05 % à 68,6 %, tandis que les taux de faux négatifs allaient de 0,3 % à 99,6 %. Dans certains cas, une modification relativement simple du texte généré suffisait à faire chuter brutalement les performances du détecteur. Les chercheurs ont conclu que les outils commerciaux étudiés étaient mal adaptés aux situations universitaires ou à d’autres contextes où les conséquences d’une erreur sont importantes.

Le constat de Patrick Traynor est particulièrement frappant parce qu’il ne concerne pas simplement la qualité d’un logiciel de consommation courante. Il concerne directement la possibilité d’utiliser ces systèmes pour prendre des décisions importantes. Lorsqu’une personne risque une sanction universitaire, une atteinte à sa réputation ou une conséquence professionnelle, le seuil de fiabilité devrait être extrêmement élevé. Or l’étude de l’Université de Floride montre précisément que les performances peuvent varier considérablement et que des modifications relativement simples peuvent rendre certains détecteurs beaucoup moins efficaces.

Cela nous ramène à la question centrale : que signifie réellement un score de détection ? Lorsqu’un service affiche 30 % ou 50 % de probabilité d’utilisation d’une IA, le chiffre donne une impression de précision qui peut être trompeuse. Un utilisateur non spécialiste peut facilement interpréter 50 % comme signifiant que la moitié du texte a été écrite par une machine. Mais ce n’est pas nécessairement ce que mesure le système. Il s’agit généralement d’un score produit à partir de caractéristiques linguistiques ou statistiques et dont l’interprétation exacte dépend du modèle utilisé par le fournisseur. Deux outils peuvent donc analyser le même texte et produire des scores différents sans que l’un des deux puisse nécessairement être désigné comme le véritable arbitre.

Cette opacité est d’autant plus problématique que les affirmations commerciales autour de ces outils ont parfois été beaucoup plus ambitieuses que ce que les recherches indépendantes permettent de conclure. L’étude de Stanford souligne notamment que les déclarations de très haute précision doivent être examinées avec prudence lorsque les jeux de données, les modèles utilisés et les conditions de test ne sont pas entièrement accessibles pour une vérification indépendante. C’est une vieille règle de la science qui mérite d’être rappelée à l’époque de l’intelligence artificielle : un chiffre impressionnant ne devient pas automatiquement une preuve parce qu’il apparaît dans une interface élégante.

Le problème est aussi devenu profondément humain. Imaginons un étudiant qui remet un devoir et obtient une note de détection de 40 %. Le professeur peut être tenté de considérer le résultat comme un indice sérieux. Mais que se passe t-il si l’étudiant affirme avoir écrit le texte lui-même ? Le détecteur ne peut pas lui demander comment il a construit son argumentation. Il ne peut pas examiner son brouillon. Il ne peut pas consulter les versions précédentes du document. Il ne peut pas lui demander pourquoi il a choisi telle source ou pourquoi il a formulé telle phrase. Il ne connaît pas son niveau d’écriture habituel. Il ne sait pas si le même étudiant rédige depuis dix ans avec exactement les mêmes tournures. Il ne possède aucune mémoire personnelle de l’auteur. Il possède seulement le texte qui lui est soumis.

C’est pourquoi la meilleure réponse à l’essor de l’IA ne sera probablement pas une machine qui prétend remplacer le jugement humain, mais une combinaison d’outils et de méthodes permettant de mieux comprendre le processus de création. Dans un contexte universitaire, l’historique des versions d’un document, les brouillons, les notes préparatoires, les références consultées et la capacité de l’étudiant à expliquer oralement son travail peuvent apporter beaucoup plus d’informations qu’un simple pourcentage. Dans une rédaction, les notes d’interview, les documents originaux et les versions successives d’un article peuvent jouer le même rôle. Dans une entreprise, l’historique de production et les échanges liés au projet peuvent fournir un contexte que le détecteur d’IA est incapable de comprendre.

Cela ne signifie pas que les détecteurs doivent être jetés à la poubelle. Ils peuvent avoir une fonction de signalement et attirer l’attention sur un document qui mérite d’être examiné plus attentivement. Mais leur rôle devrait s’arrêter là. Ils peuvent être un élément parmi d’autres dans une enquête. Ils ne devraient pas être l’enquête elle-même. Surtout, leur résultat ne devrait jamais constituer à lui seul la preuve qu’une personne a utilisé une intelligence artificielle.

Il y a quelque chose d’assez révélateur dans cette situation. Nous avons construit des modèles capables de produire des textes extrêmement proches de ceux écrits par des humains. Puis, face à cette transformation, nous avons créé d’autres modèles chargés de déterminer si ces textes proviennent d’une machine. Nous découvrons maintenant que ces derniers peuvent se tromper dans les deux directions : ils peuvent accuser un humain et laisser passer un texte artificiel. Plus les recherches progressent, plus il devient difficile de présenter le détecteur comme une sorte de test ADN de l’écriture.

L’expérience que j’ai menée ne permet évidemment pas de prétendre que tous les détecteurs sont mauvais ou que toute détection est impossible. Elle permet en revanche de poser une question que les utilisateurs de ces services devraient se poser beaucoup plus souvent : que vaut réellement le résultat lorsque l’on sait déjà que la machine s’est trompée ? Dans mon cas, les textes humains ont été associés à des pourcentages qui ne correspondaient pas à leur origine réelle. Les recherches de l’UQAM montrent que le problème des faux positifs existe également dans un cadre expérimental contrôlé. Les travaux de Stanford montrent que certains groupes linguistiques peuvent être particulièrement exposés à ces erreurs. Et l’étude de l’Université de Floride publiée en 2026 montre que les performances des détecteurs commerciaux restent suffisamment fragiles pour que leur utilisation dans des contextes à forts enjeux soit considérée comme problématique.

Il faut donc résister à une tentation très humaine : celle de croire qu’un chiffre produit par une machine est nécessairement plus objectif qu’un jugement humain. L’ordinateur donne un résultat précis parce qu’il est conçu pour produire des nombres. Cela ne signifie pas que le nombre possède la précision que nous lui attribuons. Une machine peut être extraordinairement rapide, parfaitement cohérente et totalement incapable de comprendre la situation humaine dans laquelle son résultat est utilisé.

L’ironie finale est probablement là. Nous pensions que l’intelligence artificielle allait nous obliger à apprendre à distinguer le texte humain du texte artificiel. Elle pourrait finalement nous obliger à apprendre quelque chose de plus important : distinguer une indication d’une preuve. Un détecteur peut dire qu’un texte lui semble artificiel. Il ne peut pas, à lui seul, raconter l’histoire de la personne qui l’a écrit. Pour cela, il faut encore un être humain capable de poser des questions, de regarder le contexte, de comparer les versions et surtout d’accepter la possibilité que la machine se trompe.

À une époque où l’on nous promet régulièrement que les algorithmes vont remplacer l’intuition humaine, les détecteurs d’IA constituent certainement l’un des exemples les plus instructifs de la limite de cette promesse. Lorsqu’il s’agit de savoir qui a réellement écrit un texte, la technologie peut aider à poser une question. Elle n’est pas encore suffisamment fiable pour fournir la réponse définitive. Et lorsque la réputation, les études ou la carrière d’une personne sont en jeu, cette différence n’est pas une nuance technique. C’est toute la différence entre enquêter et accuser.