Antes de pôr o LexVeritas à frente de um juiz, testámo-lo contra decisões reais e contra textos escritos por IA de propósito para o ensaio. Em 899 acórdãos da DGSI, nenhum saiu «IA detectada». Das 260 peças escritas por IA, 72% foram detectadas. Publicamos também o que não corre tão bem: um em cada quatro acórdãos humanos fica «inconclusivo».
Cada análise combina três camadas independentes:
As medidas servem de travão ao modelo. Num texto longo, sem nenhuma medida que a apoie, a conclusão do modelo desce um degrau: «IA detectada» passa a «provavelmente IA», e «provavelmente IA» passa a «inconclusivo». Uma conclusão de IA exige também um nível mínimo de confiança. Na dúvida, o sistema diz que não sabe.
899 acórdãos publicados na DGSI, de todos os tribunais superiores: 300 de 2000 a 2024 e 599 de 2025 e 2026.
| Resultado | Acórdãos | % |
|---|---|---|
| Humano ou provavelmente humano | 665 | 74% |
| Inconclusivo | 229 | 25% |
| Provavelmente IA | 5 | 0,6% |
| IA detectada | 0 | 0% |
Os cinco «provavelmente IA» são todos de 2025–2026. Nesses anos a autoria humana é presumida, não garantida.
Sem o travão das medidas, o modelo sozinho teria apontado IA a 13% dos acórdãos de 2025–2026 (80 de 599). É a diferença entre uma ferramenta que avisa e uma que acusa.
260 peças jurídicas longas — acórdãos, sentenças, contestações, petições, pareceres — escritas por modelos de IA (Claude Sonnet e Claude Haiku) só para este ensaio. Não vêm de nenhum processo. Incluem textos «humanizados», passados por reformuladores e escritos a imitar de propósito o estilo dos acórdãos da DGSI.
| Resultado | Peças | % |
|---|---|---|
| Detectadas (IA detectada ou provavelmente IA) | 187 | 72% |
| Inconclusivo | 72 | 28% |
| Provavelmente humano | 1 | 0,4% |
A detecção depende do modelo que escreveu: 97% nos textos do Haiku, 47% nos do Sonnet, que escreve de forma mais próxima da humana. Quanto melhor a IA escreve, menos o estilo a denuncia — por isso a verificação das fontes conta tanto como a autoria.
Por estilo de escrita:
| Como a peça foi escrita | Peças | Detectadas |
|---|---|---|
| Directamente, sem instruções de estilo | 70 | 53 (76%) |
| Reescrita depois por um «humanizador» anti-detecção (feito com IA) | 70 | 55 (79%) |
| Pedida logo «como um jurista português escreveria à mão» | 70 | 43 (61%) |
| A imitar o estilo dos acórdãos da DGSI | 50 | 36 (72%) |
Passar o texto por um humanizador não baixou a detecção. O que a baixa é pedir à IA, logo à partida, que escreva como um jurista. O aviso de humanizador, que procura fórmulas jurídicas trocadas por sinónimos («vínculo de causalidade» em vez de «nexo de causalidade»), é outra coisa: está em fase beta e ainda não foi validado com textos reais de ferramentas como o Quillbot.
Cada citação é procurada directamente nas bases oficiais: DGSI (tribunais judiciais e administrativos), Diário da República, Tribunal Constitucional, Tribunal de Contas, CAAD, base oficial da União Europeia (CELLAR e EUR-Lex), TEDH (HUDOC), catálogo da Biblioteca Nacional e repositórios académicos (RCAAP). A pesquisa web só entra quando estas não respondem, e o resultado fica assinalado como «só na web».
No ensaio, passámos pela verificação 10 236 citações verdadeiras, retiradas de 895 acórdãos da DGSI. Houve alarmes em 0,9% — e parte deles eram lapsos reais nas decisões publicadas, como artigos que não existem no código citado. Os alarmes falsos encontrados foram corrigidos.
Uma citação que não aparece nas bases nunca é dada como inventada só por isso: muitas decisões não estão publicadas. Fica «inconclusiva» e o utilizador é avisado para confirmar.
Nos PDF e documentos Word, o LexVeritas procura as formas conhecidas de prompt injection: instruções dirigidas a modelos de IA, caracteres invisíveis, texto a branco, minúsculo ou fora da página, camadas ocultas do PDF, comentários e metadados. Entrega uma cópia de leitura sem o que estava escondido. O PDF original não é alterado, para não invalidar assinaturas digitais.
Caracteres invisíveis comuns em texto copiado da web ou de PDF são mostrados como observação, não como indício de ataque.
As respostas do ensaio ficam guardadas. Sempre que muda uma regra de decisão, o ensaio volta a correr de forma automática, e a alteração só entra se continuar a não haver nenhum «IA detectada» em acórdãos humanos. O código tem mais de 570 testes automáticos que correm em cada alteração.
Se o modelo de IA mudar, o ensaio é repetido e esta página é actualizada.