Come funzionano i rilevatori AI? Perplessità, burstiness e classificatori

I rilevatori AI funzionano misurando quanto è prevedibile un testo. La maggior parte lo fa passare attraverso un modello linguistico e controlla quanto era probabile ogni parola, date quelle precedenti. Un testo costantemente facile da prevedere sembra prodotto da una macchina. Un testo con scelte lessicali più sorprendenti e irregolari sembra umano. Molti strumenti commerciali aggiungono sopra un classificatore addestrato, che ha imparato la differenza da grandi raccolte di esempi etichettati.

Questa è l'idea di fondo. I dettagli spiegano perché i rilevatori sono utili e anche perché sbagliano.

La domanda di base che si pone un rilevatore

Un rilevatore non capisce la tua argomentazione, non verifica i tuoi fatti e non sa chi sei. Guarda la superficie del testo, le parole e come sono disposte, e si pone una sola domanda statistica: questo testo assomiglia di più a ciò che produrrebbe un modello linguistico o a ciò che producono le persone?

Per rispondere, i rilevatori usano alcuni tipi di segnali. La maggior parte degli strumenti moderni ne combina diversi.

Segnale 1: la perplessità

La perplessità è una misura della sorpresa. Prendi un modello linguistico, dagli il tuo testo una parola alla volta e, a ogni passo, chiedigli quanto era probabile la parola successiva effettiva.

Prendi questa frase: "Il gatto si è sdraiato sul ___." Un modello prevederà "divano", "tappeto" o "letto" con grande sicurezza. Se la parola successiva è "tappeto", la perplessità è bassa. Se è "manoscritto", la perplessità è alta.

I modelli linguistici generano testo scegliendo parole probabili. Per questo il loro output, misurato da un modello simile, tende ad avere una perplessità bassa dall'inizio alla fine. Le persone scelgono le parole per tanti motivi: abitudine, umorismo, un ricordo preciso, un modo di dire un po' strano che piace loro. Questo fa salire la perplessità.

Alcuni dei primi rilevatori si basavano molto su questo solo numero. Il problema è che anche molta scrittura umana è prevedibile. Una relazione di laboratorio, una sintesi legale o un tema in cinque paragrafi scritto seguendo una griglia di valutazione possono avere tutti una perplessità bassa, semplicemente perché il genere è standardizzato.

Segnale 2: la burstiness

La burstiness guarda a come la perplessità cambia nel corso del testo. Una persona può scrivere due frasi semplici, poi una con un'immagine insolita, poi un frammento. La prevedibilità salta su e giù. L'output dell'AI tende a mantenere un livello costante dall'inizio alla fine.

La stessa idea compare in misure più semplici, come quanto varia la lunghezza delle frasi. I paragrafi scritti da persone spesso alternano una frase di 30 parole a una di 4. Quelli dei modelli tendono a tenere le frasi in una fascia ristretta.

GPTZero ha reso popolare la coppia perplessità e burstiness quando è stato lanciato all'inizio del 2023, e i termini sono rimasti. I suoi modelli attuali usano più di queste due misure, ma restano un buon modo per capire cosa cercano i rilevatori.

Segnale 3: i classificatori addestrati

L'approccio più comune oggi nei rilevatori commerciali è un classificatore: un modello di machine learning addestrato su un'ampia raccolta di testi etichettati come "umano" e "AI". Impara tutte le caratteristiche che separano i due gruppi, comprese alcune a cui nessuna persona penserebbe di dare un nome.

I classificatori sono spesso costruiti sulla stessa tecnologia transformer dei chatbot. Possono funzionare piuttosto bene su testi simili ai loro dati di addestramento. Faticano con quelli che non lo sono, per esempio:

• Testi prodotti da un modello più recente che il classificatore non ha mai visto
• Lingue o varietà linguistiche rare nei dati di addestramento
• Generi poco rappresentati, come la poesia o la documentazione tecnica
• Testi misti, in cui alcune parti sono state scritte da una persona e altre dall'AI

È per questo che i fornitori riaddestrano regolarmente i loro rilevatori, ed è per questo che lo stesso testo può ottenere un punteggio diverso dallo stesso strumento a distanza di qualche mese.

Segnale 4: i watermark

Il watermarking è un approccio diverso. Invece di tirare a indovinare a posteriori, l'azienda che gestisce il modello orienta le sue scelte lessicali secondo uno schema statistico nascosto durante la generazione. Un rilevatore corrispondente può poi cercare quello schema.

Oggi tutti e tre i grandi chatbot lo fanno, almeno per una parte dei loro testi. Google contrassegna i testi dell'app Gemini con SynthID dal 2024 (come funziona SynthID). Anthropic ha iniziato a inserire un watermark nei testi di Claude ad agosto 2026 (cosa ha detto Anthropic), e OpenAI sta aggiungendo il suo watermark textGrain ai testi di ChatGPT nell'UE da ottobre 2026 (dove si applica). Quando sono presenti, i watermark possono essere abbastanza affidabili. Il punto è che solo l'azienda che ha creato il modello possiede la chiave per verificarli, moltissimi testi in circolazione non ne hanno nessuno, e una revisione pesante o una traduzione indeboliscono il segnale.

Quindi, per ora, quasi tutti i rilevatori che incontrerai, compresi quelli usati nelle scuole, si basano sui metodi statistici descritti sopra e non sui watermark.

Come i vari segnali diventano un punteggio

Strumenti diversi presentano i risultati in modi diversi:

• Una singola percentuale, spesso descritta come la quota del testo che è probabilmente generata dall'AI.
• Evidenziazione di frasi o paragrafi, che mostra quali parti hanno determinato il punteggio.
• Categorie, come interamente AI, rifinito con l'AI o scritto da una persona. Il Rilevatore AI di RealWrite usa quattro categorie, così puoi vedere una paternità mista invece di un unico verdetto.

Qualunque sia il formato, il numero è una stima di probabilità, non un fatto accertato. Un punteggio dell'80% non significa che l'80% delle parole sia stato scritto da una macchina. Significa che il modello è abbastanza sicuro che il testo assomigli ai suoi esempi di AI.

Perché i rilevatori AI sbagliano

Una volta capito come funzionano i rilevatori, i loro punti deboli sono facili da prevedere.

I generi prevedibili sembrano AI

La scrittura formale e strutturata ha una perplessità bassa per sua natura. Abstract, lettere di presentazione, descrizioni di prodotto e temi standardizzati seguono tutti convenzioni che rendono facile indovinare la parola successiva. Chi scrive in questi generi viene segnalato più spesso.

Chi non scrive nella propria lingua madre viene segnalato di più

Chi scrive in una seconda lingua usa spesso un vocabolario più ristretto e prudente e schemi di frase più regolari. Sono esattamente le caratteristiche che i rilevatori associano all'AI. Uno studio di Stanford del 2023 guidato da Weixin Liang, pubblicato sulla rivista Patterns, ha rilevato che diversi rilevatori molto diffusi classificavano come generata dall'AI una quota elevata di temi TOEFL scritti da parlanti non nativi di inglese, mentre valutavano con molta più precisione i temi di studenti statunitensi. Ne parliamo nel dettaglio in falsi positivi dei rilevatori AI.

I testi brevi non danno abbastanza segnale

Le misure statistiche hanno bisogno di dati. Un paragrafo di 100 parole semplicemente non contiene abbastanza parole per una stima affidabile. Molti strumenti fissano una lunghezza minima proprio per questo, e i risultati vicini a quel minimo sono i meno stabili.

La revisione confonde il confine

La scrittura reale è sempre più mista. Qualcuno scrive una bozza con l'AI e ne riscrive metà. Qualcun altro scrive a mano e usa un correttore grammaticale per rifinire. I rilevatori sono stati addestrati soprattutto su esempi puliti di entrambi i casi, quindi i testi misti finiscono nella zona grigia di mezzo.

La traduzione intorbida il segnale

Un testo scritto in una lingua e tradotto automaticamente in un'altra acquisisce parte della regolarità del modello di traduzione. Un testo scritto dall'AI e poi tradotto perde parte dei suoi schemi originali. In entrambi i casi, il rilevatore non sta più guardando il tipo di scrittura che è stato addestrato a giudicare, e i risultati diventano meno attendibili.

I correttori grammaticali possono spingere il testo verso "AI"

I suggerimenti grammaticali e stilistici più aggressivi tendono a rendere la prosa più scorrevole e uniforme. Accettane abbastanza e il tuo testo originale può iniziare ad assomigliare, statisticamente, all'output di un modello.

A cosa servono i rilevatori

Niente di tutto questo significa che i rilevatori siano inutili. Usati bene, sono un rapido secondo parere. Un punteggio alto su una bozza è un buon motivo per rileggerla: le frasi sono tutte della stessa lunghezza? Ci sono frasi fatte in ogni paragrafo? C'è qualcosa di concreto?

È così che consigliamo di usare qualsiasi rilevatore, compreso il nostro. Controlla una bozza prima di consegnarla, guarda quali parti ottengono un punteggio alto e rivedile perché suonino più come te. La pagina come funziona mostra questo ciclo in RealWrite.

Ciò che i rilevatori non dovrebbero essere è l'unica prova in una decisione sul lavoro di qualcuno. Lo dicono anche le aziende che li sviluppano. Turnitin, per esempio, avverte i docenti che il suo punteggio AI non dovrebbe essere l'unica base per prendere provvedimenti contro uno studente. Il nostro approfondimento su Turnitin spiega cosa mostra il suo report.

In breve

• I rilevatori misurano la prevedibilità, non il significato.
• La perplessità è la sorpresa a livello di parola. La burstiness è quanto varia quella sorpresa.
• La maggior parte degli strumenti commerciali aggiunge classificatori addestrati, che vanno riaddestrati di continuo.
• I watermark sono promettenti ma rari nella pratica.
• Generi formali, persone che scrivono in una seconda lingua, testi brevi e testi rivisti sono i casi in cui i rilevatori sbagliano di più.

Se vuoi vedere che punteggio ottiene la tua scrittura, puoi fare un controllo gratuito con RealWrite. E se stai valutando diversi strumenti, il nostro confronto tra i migliori rilevatori AI mette a confronto le principali opzioni.