Maskena
Metodologia e resultados

Precisão da detecção

Publicamos como medimos a detecção de prompt injection e os resultados da versão atual do motor, inclusive os casos em que ela ainda falha. Nenhum detector identifica todos os ataques. Estes números servem para você decidir como usar o Maskena no seu fluxo.

Medição de 18/11/2026 · motor heuristic-1.4.0 · profundidade standard (padrão da API) · English version

0,16%de falsos positivos em 1.929 trechos de documentação legítima
93,5%dos ataques detectados no conjunto em português (400 ataques)
100%dos arquivos com instrução oculta sinalizados (texto branco, invisível ou escondido por CSS)

1. Como medimos

MétricaO que responde
Detecção (recall)De cada 100 ataques, quantos foram sinalizados.
PrecisãoDe cada 100 sinalizações, quantas eram ataques de fato.
Falsos positivosDe cada 100 textos legítimos, quantos foram sinalizados por engano.

2. Textos curtos e prompts

Cada exemplo é analisado isoladamente, como faria a chamada POST /api/v1/check.

ConjuntoAtaquesLegítimosDetecção PrecisãoFalsos positivos
ai-safety-brazil/prompt-injection-br-synthetic
CC BY 4.0 · revisão 73e244d
400400 93,5%99,2% 0,8%
usezn/zn-prompt-injection-bench
CC BY 4.0 · revisão 60b3a18
1491.088 100%98,7% 0,2%
jackhhao/jailbreak-classification
Apache 2.0 · revisão 2f2ceeb
141259 85,1%100% 0%
drakkeng/outilsia-injections-prompt-multilingue
CC BY 4.0 · revisão b5a2922
9391 83,9%90,7% 8,8%
yanismiraoui/prompt_injections
Apache 2.0 · revisão bd55359
152n/d 80,3%100% n/d
Lakera/gandalf_ignore_instructions
MIT · revisão 04737b6
112n/d 77,7%100% n/d
deepset/prompt-injections
Apache 2.0 · revisão 4f61ecb
6056 40%100% 0%

"n/d": o conjunto só contém ataques, então não há como medir falsos positivos nele.

3. Falsos positivos em texto legítimo

1.929 trechos de documentação real, em português e inglês: páginas de ajuda de software (GNOME) e documentação técnica (Python e conda). Nenhum contém ataque. 3 foram sinalizados por engano, o equivalente a 0,16%.

Documentos jurídicos, financeiros e de RH têm vocabulário diferente deste conjunto. Se o seu volume for alto, recomendamos medir a taxa de falsos positivos numa amostra dos seus próprios documentos antes de bloquear automaticamente.

4. Ataques dentro de documentos

O cenário mais comum na prática é diferente de um prompt isolado: uma frase maliciosa no meio de páginas de texto legítimo, muitas vezes escondida. Para medir isso, inserimos ataques dos conjuntos de teste em documentos reais de três tamanhos (cerca de 600, 3.000 e 12.000 caracteres), em posições sorteadas, com diferentes formas de inserção. Como controle, inserimos textos legítimos da mesma forma.

Forma de inserçãoArquivo sinalizadoAtaque identificado Falsos positivos no controle
Texto visível (TXT)59,9%55,8% 0,8%
Texto visível (HTML)60,3%55,8% 0%
Texto visível (Word)60,3%55,5% 1,2%
Texto visível (PDF)46,5%43,3% 0,4%
Comentário em Markdown77,9%75% 4,2%
Oculto por CSS (display: none)100%75% 2,5%
Texto branco em HTML100%75% 2,5%
Texto oculto no Word100%75% 2,5%
Texto invisível em PDF100%64,1% 2,5%

312 ataques e 240 textos de controle por forma de inserção, em 3 tamanhos de documento (4.968 análises).

5. Limitações conhecidas

6. Recomendações de uso

Encontrou um ataque que o Maskena não detecta? Envie para contato@maskena.com. Os casos recebidos são usados para melhorar a detecção.