Perguntar ao ChatGPT se um texto foi escrito por IA
não chega.

Há uma tentação compreensível. Recebemos uma peça processual com um estilo estranho, copiamos o texto, colamos no ChatGPT e perguntamos: "isto foi escrito por IA?". A resposta chega em segundos, bem redigida e segura de si. O problema é que essa segurança não vale nada.

Publicámos aqui, há uns meses, um estudo comparativo em que submetemos uma decisão judicial real a quatro ferramentas. Retirámo-lo. Não porque as conclusões sobre as ferramentas genéricas estivessem erradas, mas porque o desenho do estudo estava: ninguém sabia, com certeza, quem tinha escrito aquele texto. Sem uma resposta certa conhecida, não há forma de dizer quem acertou. E atribuir uso de IA a uma decisão concreta, com base numa estimativa probabilística, não é coisa que se faça.

Este artigo é sobre isso: porque é que um chatbot não serve de detector, o que deve ter uma verificação a sério, e como qualquer pessoa pode testar uma ferramenta — a nossa incluída — sem se enganar a si própria.

A própria OpenAI desistiu

Em Janeiro de 2023, a OpenAI lançou um classificador para distinguir texto escrito por humanos de texto gerado por IA. Nos testes publicados pela própria empresa, o classificador identificava correctamente apenas 26% dos textos gerados por IA — e classificava erradamente como IA 9% dos textos escritos por pessoas.

Em Julho de 2023, a OpenAI retirou-o, invocando a baixa taxa de precisão. Repare-se: era uma ferramenta construída de propósito para detectar texto gerado por IA, pela empresa que faz o ChatGPT. Se essa ferramenta não chegava, perguntar ao chatbot de uso geral — que não foi construído para isto — chega ainda menos.

O risco dos falsos positivos

Em 2023, uma equipa da Universidade de Stanford (Liang e outros, publicado na revista Patterns) testou sete detectores comerciais de texto gerado por IA. Os textos escritos por estudantes cuja língua materna não era o inglês foram classificados como "gerados por IA", em média, em mais de 61% dos casos. Os textos dos falantes nativos, quase nunca.

A explicação é simples: estes detectores tendem a desconfiar de texto previsível, de vocabulário regular e frases bem arrumadas. Ora, é exactamente assim que se escreve uma decisão judicial portuguesa. Os acórdãos têm fórmulas fixas — "Acordam, em conferência…", "Cumpre apreciar e decidir", "Pelo exposto…" — que estão lá há décadas, muito antes de existir IA generativa. Uma ferramenta que confunda formalidade com automatismo vai acusar juízes e advogados que se limitaram a escrever como se escreve em tribunal.

É por isso que os critérios do LexVeritas distinguem as fórmulas próprias do género judicial dos padrões que não se explicam por elas. E é também por isso que nenhum resultado nosso deve ser lido como prova: é um indício, de natureza probabilística, que exige leitura humana.

O que deve ter uma verificação séria

• Critérios explícitos. Saber o que foi medido — e não apenas a conclusão.
• Consistência. O mesmo texto deve dar o mesmo resultado. Um chatbot de uso geral pode responder de forma diferente a cada conversa.
• Grau de incerteza. Uma escala com "inconclusivo" como resposta possível, e não um sim ou não com ar de certeza.
• Factos verificáveis. Os indícios estilísticos são sempre discutíveis. Um acórdão citado que não existe nas bases oficiais não é. A verificação das citações na DGSI, no juris.stj.pt e no Diário da República é, muitas vezes, o sinal mais sólido de todos.
• Registo. Um relatório com referência, data e indicadores, que outra pessoa possa ler e contestar — não uma conversa copiada de um chat.

Como testar uma ferramenta sem se enganar

Se quiser saber se uma ferramenta de detecção funciona — a nossa ou outra qualquer —, o teste tem de partir de textos cuja autoria se conhece com certeza. Proponho este protocolo — qualquer pessoa o pode aplicar, à nossa ferramenta ou a outra:

E publique o resultado, seja ele qual for. Um teste em que a nossa ferramenta acerta sempre parece publicidade; um teste que mostra onde ela falha é informação. Quando refizermos o estudo, os erros do LexVeritas — se os houver — ficam no artigo.

O que fazer, entretanto, na prática

Perante uma peça ou uma decisão que levanta dúvidas, comece pelo que é verificável: as citações. Cada acórdão, número de processo, diploma ou obra citada existe? Diz o que o texto afirma que diz? Foi assim que o Tribunal da Relação de Guimarães identificou seis acórdãos fabricados numa peça de defesa — não por intuição sobre o estilo, mas porque nenhum deles existia.

Os indícios de estilo vêm depois, como complemento, e lidos por quem conhece o registo jurídico português. Nenhuma ferramenta — nenhuma — substitui essa leitura.