Transparência

Metodologia e Validação

Banco de ensaio de Novembro de 2026

Em resumo

Antes de pôr o LexVeritas à frente de um juiz, testámo-lo contra decisões reais e contra textos escritos por IA de propósito para o ensaio. Em 899 acórdãos da DGSI, nenhum saiu «IA detectada». Das 260 peças escritas por IA, 72% foram detectadas. Publicamos também o que não corre tão bem: um em cada quatro acórdãos humanos fica «inconclusivo».

01

Como funciona a análise

Cada análise combina três camadas independentes:

  • Leitura por um modelo de IA (Claude, da Anthropic, através do Amazon Bedrock, na União Europeia). O modelo estima o veredicto de autoria e os seis indicadores — perplexidade, variabilidade rítmica, coesão artificial, uniformidade sintáctica, riqueza lexical e marcadores formulaicos — segundo critérios escritos para a linguagem jurídica portuguesa. São estimativas, não medições estatísticas.
  • Medidas calculadas no próprio texto: fórmulas típicas de texto gerado, conectores em série, variação do comprimento das frases e dos parágrafos e diversidade de vocabulário, comparadas com acórdãos humanos do mesmo tamanho. O mesmo documento dá sempre os mesmos valores.
  • Verificação das fontes citadas nas bases oficiais (secção 04).

As medidas servem de travão ao modelo. Num texto longo, sem nenhuma medida que a apoie, a conclusão do modelo desce um degrau: «IA detectada» passa a «provavelmente IA», e «provavelmente IA» passa a «inconclusivo». Uma conclusão de IA exige também um nível mínimo de confiança. Na dúvida, o sistema diz que não sabe.

02

Ensaio com acórdãos reais

899 acórdãos publicados na DGSI, de todos os tribunais superiores: 300 de 2000 a 2024 e 599 de 2025 e 2026.

ResultadoAcórdãos%
Humano ou provavelmente humano66574%
Inconclusivo22925%
Provavelmente IA50,6%
IA detectada00%

Os cinco «provavelmente IA» são todos de 2025–2026. Nesses anos a autoria humana é presumida, não garantida.

Sem o travão das medidas, o modelo sozinho teria apontado IA a 13% dos acórdãos de 2025–2026 (80 de 599). É a diferença entre uma ferramenta que avisa e uma que acusa.

03

Ensaio com textos escritos por IA

260 peças jurídicas longas — acórdãos, sentenças, contestações, petições, pareceres — escritas por modelos de IA (Claude Sonnet e Claude Haiku) só para este ensaio. Não vêm de nenhum processo. Incluem textos «humanizados», passados por reformuladores e escritos a imitar de propósito o estilo dos acórdãos da DGSI.

ResultadoPeças%
Detectadas (IA detectada ou provavelmente IA)18772%
Inconclusivo7228%
Provavelmente humano10,4%

A detecção depende do modelo que escreveu: 97% nos textos do Haiku, 47% nos do Sonnet, que escreve de forma mais próxima da humana. Quanto melhor a IA escreve, menos o estilo a denuncia — por isso a verificação das fontes conta tanto como a autoria.

Por estilo de escrita:

Como a peça foi escritaPeçasDetectadas
Directamente, sem instruções de estilo7053 (76%)
Reescrita depois por um «humanizador» anti-detecção (feito com IA)7055 (79%)
Pedida logo «como um jurista português escreveria à mão»7043 (61%)
A imitar o estilo dos acórdãos da DGSI5036 (72%)

Passar o texto por um humanizador não baixou a detecção. O que a baixa é pedir à IA, logo à partida, que escreva como um jurista. O aviso de humanizador, que procura fórmulas jurídicas trocadas por sinónimos («vínculo de causalidade» em vez de «nexo de causalidade»), é outra coisa: está em fase beta e ainda não foi validado com textos reais de ferramentas como o Quillbot.

04

Verificação de citações

Cada citação é procurada directamente nas bases oficiais: DGSI (tribunais judiciais e administrativos), Diário da República, Tribunal Constitucional, Tribunal de Contas, CAAD, base oficial da União Europeia (CELLAR e EUR-Lex), TEDH (HUDOC), catálogo da Biblioteca Nacional e repositórios académicos (RCAAP). A pesquisa web só entra quando estas não respondem, e o resultado fica assinalado como «só na web».

No ensaio, passámos pela verificação 10 236 citações verdadeiras, retiradas de 895 acórdãos da DGSI. Houve alarmes em 0,9% — e parte deles eram lapsos reais nas decisões publicadas, como artigos que não existem no código citado. Os alarmes falsos encontrados foram corrigidos.

Uma citação que não aparece nas bases nunca é dada como inventada só por isso: muitas decisões não estão publicadas. Fica «inconclusiva» e o utilizador é avisado para confirmar.

05

Análise de integridade

Nos PDF e documentos Word, o LexVeritas procura as formas conhecidas de prompt injection: instruções dirigidas a modelos de IA, caracteres invisíveis, texto a branco, minúsculo ou fora da página, camadas ocultas do PDF, comentários e metadados. Entrega uma cópia de leitura sem o que estava escondido. O PDF original não é alterado, para não invalidar assinaturas digitais.

Caracteres invisíveis comuns em texto copiado da web ou de PDF são mostrados como observação, não como indício de ataque.

06

Limites conhecidos

  • Um em cada quatro acórdãos humanos fica «inconclusivo». Preferimos esse resultado a uma acusação sem fundamento.
  • Os modelos de IA mais recentes escrevem de forma cada vez mais humana; a detecção pelo estilo tende a descer com o tempo.
  • Textos curtos dão menos sinais e resultados menos seguros.
  • O resultado diz respeito ao documento, não à pessoa, e não constitui prova: é um indício para revisão humana.
07

Como mantemos estes números

As respostas do ensaio ficam guardadas. Sempre que muda uma regra de decisão, o ensaio volta a correr de forma automática, e a alteração só entra se continuar a não haver nenhum «IA detectada» em acórdãos humanos. O código tem mais de 570 testes automáticos que correm em cada alteração.

Se o modelo de IA mudar, o ensaio é repetido e esta página é actualizada.