Falsos positivos em detectores de IA: por que textos humanos são sinalizados

Um falso positivo em detector de IA acontece quando uma ferramenta classifica um texto humano como gerado por IA. Isso acontece com mais frequência do que a maioria das pessoas imagina, porque os detectores avaliam o quanto um texto parece previsível, não quem de fato o escreveu. Textos formais, textos curtos e textos de quem não tem o inglês como língua nativa são os que mais correm risco de ser sinalizados por engano. Se acontecer com você, mantenha a calma, reúna seus rascunhos e o histórico de versões e peça uma conversa em vez de discutir a pontuação.

A seguir, por que isso acontece, quem é mais afetado e um plano prático do que fazer em seguida.

Por que textos humanos são sinalizados

Os detectores passam o seu texto por modelos estatísticos e estimam o quanto ele se parece com a saída de uma IA. Eles olham coisas como o quanto cada palavra é previsível e o quanto a estrutura das frases varia. Explicamos o mecanismo em como funcionam os detectores de IA.

O ponto principal: um detector não vê você digitando. Ele só vê as palavras prontas. Qualquer texto humano que por acaso seja fluido, regular e previsível pode cair do lado errado da linha.

Estas são as causas mais comuns.

Gêneros padronizados

Alguns tipos de texto são previsíveis de propósito. Um relatório de laboratório segue uma estrutura fixa. Uma redação de cinco parágrafos segue um modelo. Cartas de apresentação, resumos acadêmicos, resumos de políticas e descrições de produtos usam expressões prontas porque é isso que o gênero espera. Pouca surpresa é uma característica do gênero, e para um detector isso se parece com a pouca surpresa dos textos de IA.

Escrever numa segunda língua

Este é o caso mais bem documentado. Em 2023, pesquisadores de Stanford, liderados por Weixin Liang, publicaram na revista Patterns um estudo em que testaram vários detectores de GPT populares com redações escritas por falantes não nativos para o exame de inglês TOEFL. Os detectores sinalizaram uma grande parte dessas redações como geradas por IA, enquanto avaliaram com muito mais precisão as redações de estudantes americanos nativos.

O motivo não é nenhum mistério. Quando você escreve numa língua que ainda está aprendendo, tende a usar palavras comuns de que tem certeza e padrões de frase que sabe que estão corretos. Esse estilo cuidadoso e regular é justamente o que os detectores associam a máquinas.

Textos curtos

Um detector precisa de palavras suficientes para medir alguma coisa. Numa resposta de 150 palavras, duas frases previsíveis podem virar o resultado. Muitas ferramentas definem um tamanho mínimo, e os resultados perto desse mínimo são os menos confiáveis.

Edição pesada de gramática e estilo

Corrigir a ortografia não tem problema. Mas aceitar dezenas de sugestões de reescrita de um assistente de escrita pode achatar o seu ritmo natural em algo mais liso e uniforme. Quanto mais das suas frases uma ferramenta substitui, menos o texto se parece com você.

Textos famosos ou muito copiados

Muitas pessoas já compartilharam capturas de tela de documentos históricos conhecidos recebendo pontuação de "provavelmente IA" em detectores gratuitos. O motivo provável é que esses textos aparecem tanto nos dados de treinamento que os modelos os acham muito fáceis de prever. É um bom lembrete de que "previsível para um modelo" e "escrito por um modelo" não são a mesma coisa.

Como é um falso positivo

Aqui está um parágrafo do tipo que estudantes escrevem todos os dias, inteiramente à mão:

As mudanças climáticas constituem um dos desafios mais significativos enfrentados pelo mundo atualmente. Elas afetam ecossistemas, economias e comunidades de diversas maneiras. Governos, empresas e indivíduos têm um papel importante a desempenhar no enfrentamento dessa questão.

Não há nada de desonesto nele. Mas veja o que um detector enxerga: três frases de tamanho parecido, uma abertura muito comum, uma lista de três itens em duas das três frases e nenhum detalhe que só poderia vir de quem escreveu. Cada palavra é fácil de prever. Esse é o perfil da saída de um modelo, então um detector pode classificá-lo como provável IA.

Agora compare com uma versão que defende o mesmo ponto, mas com mais de quem escreve:

O verão em que o poço dos meus avós secou foi a primeira vez que as mudanças climáticas pareceram algo perto de mim. Eles usavam aquele poço havia quarenta anos. O conserto custou mais que o carro deles.

Ninguém confundiria isso com um modelo pronto. E também é um texto melhor. Essa coincidência não é acaso, e é a coisa mais útil a entender sobre falsos positivos: os hábitos que os provocam são, em grande parte, hábitos que deixam a escrita genérica.

Se o inglês não é a sua primeira língua

Você não deveria ter que soar como um falante nativo para acreditarem em você. Ainda assim, algumas coisas ajudam. Guarde seus rascunhos e anotações. Use exemplos da sua própria experiência e das suas leituras, que nenhum modelo consegue prever. E, se usar ferramentas de tradução ou de gramática, guarde uma cópia do que você escreveu antes delas, para poder mostrar as suas próprias palavras se pedirem.

O que fazer se o seu texto for sinalizado por engano

Se um professor, editor ou cliente disser que o seu trabalho foi apontado como IA, aqui vai um plano que funciona melhor que o pânico.

1. Mantenha a calma e pergunte o que foi sinalizado

Pergunte qual ferramenta foi usada, qual foi a pontuação e quais trechos foram destacados. Você tem o direito de entender a preocupação. Mantenha o tom objetivo. A pessoa que levantou a questão também pode não ter certeza de quanto confiar na ferramenta.

2. Reúna provas do seu processo

A prova mais forte é um registro do trabalho sendo feito ao longo do tempo:

• Histórico de versões. O Google Docs (Arquivo, depois Histórico de versões) e o Microsoft Word com OneDrive guardam edições com data e hora. Um documento que cresceu ao longo de várias sessões parece muito diferente de um colado de uma vez só.
• Anotações e esboços. À mão ou digitais, com datas, se possível.
• Rascunhos anteriores. Mesmo os mais toscos.
• Fontes. Histórico do navegador, empréstimos da biblioteca, PDFs que você anotou.

Se você normalmente não guarda essas coisas, comece agora. Não custa nada e é o jeito mais fácil de se proteger no futuro.

3. Ofereça-se para conversar sobre o trabalho

Ofereça-se para explicar o seu argumento, mostrar como encontrou as suas fontes ou responder perguntas sobre as escolhas que fez. Quem escreveu um texto normalmente consegue discuti-lo a fundo. Isso costuma convencer mais do que qualquer documento.

4. Cite as orientações da própria ferramenta

Os fornecedores de detectores deixam claro que as pontuações não são prova. O Turnitin, por exemplo, diz que o seu indicador de escrita por IA não deve ser usado como única base para uma medida contra um aluno, e oculta pontuações baixas justamente porque elas são menos confiáveis. Nosso guia sobre o Turnitin explica o que o relatório dele realmente mostra. Citar as orientações da própria ferramenta não é uma atitude agressiva. Só coloca a pontuação em contexto.

5. Conheça o processo formal

Se a conversa não resolver, procure a política de integridade acadêmica da sua instituição ou as cláusulas de disputa do seu contrato. A maioria das escolas tem um processo de recurso, e muitas têm um representante estudantil ou uma ouvidoria que pode ajudar. Peça a decisão e as provas por escrito.

Como reduzir o risco da próxima vez

Você não deveria ter que mudar o seu jeito de escrever para agradar uma ferramenta. Mas alguns hábitos tornam os falsos positivos menos prováveis e muito mais fáceis de resolver:

• Escreva num documento com histórico de versões, não num editor de texto simples do qual você copia e cola.
• Mantenha a sua voz. Exemplos específicos, opiniões e frases de tamanhos variados são, ao mesmo tempo, uma escrita melhor e menos "com cara de IA". Nosso guia sobre por que um texto parece escrito por IA lista os padrões a observar.
• Vá com calma nas sugestões de reescrita dos corretores gramaticais. Corrija os erros e mantenha as suas frases.
• Verifique antes de entregar se o que está em jogo for importante. Passar o rascunho por um detector, como o Detector de IA da RealWrite, marca as frases que parecem IA e diz por quê. Trate o resultado como uma pista de onde revisar, não como um veredito.

Um recado para professores e editores

Se você está do outro lado, uma pontuação alta é motivo para uma conversa, não para uma conclusão. Peça para ver os rascunhos. Peça para a pessoa falar sobre o texto. Compare com trabalhos anteriores dela. Tome cuidado redobrado com quem escreve numa segunda língua e com tipos de trabalho formais, onde os falsos positivos são mais prováveis.

Várias universidades decidiram desativar completamente os recursos de detecção de IA por esses motivos. A Vanderbilt University foi uma das primeiras a dizer isso publicamente, em 2023. Outras mantêm as ferramentas, mas treinam a equipe para tratá-las como um dado entre muitos.

Conclusão

Falsos positivos são uma limitação conhecida do funcionamento dos detectores de IA, não um sinal de que você fez algo errado. Guarde provas do seu processo, seja objetivo e peça que a decisão se baseie em mais do que um único número.

Se quiser ver como o seu próprio texto pontua antes que outra pessoa o verifique, você pode fazer uma verificação grátis na RealWrite. Os detalhes dos planos estão na página de preços.