Precisão da detecção
Publicamos como medimos a detecção de prompt injection e os resultados da versão atual do motor, inclusive os casos em que ela ainda falha. Nenhum detector identifica todos os ataques. Estes números servem para você decidir como usar o Maskena no seu fluxo.
1. Como medimos
- Dados. Conjuntos públicos de prompt injection e jailbreak publicados no Hugging Face, na revisão indicada em cada linha, mais um conjunto próprio de textos legítimos. Usamos somente a parte de teste de cada conjunto, que não participa do treinamento nem do ajuste de limiares.
- Treinamento. Os classificadores do Maskena foram treinados com as partes de treino desses mesmos conjuntos. Em ataques de estilo diferente, o resultado tende a ser menor do que o publicado aqui.
- Critério. Um exemplo conta como detectado quando o veredito não é
safe, que é o mesmo critério do campoflaggedda API. - Configuração. Profundidade
standard: regras, classificador estatístico e classificador baseado em modelo de linguagem. A profundidademax, que acrescenta o Llama Prompt Guard 2, não está incluída nestes números. - Atualização. Os números são atualizados quando o motor muda de versão, para melhor ou para pior.
| Métrica | O que responde |
|---|---|
| Detecção (recall) | De cada 100 ataques, quantos foram sinalizados. |
| Precisão | De cada 100 sinalizações, quantas eram ataques de fato. |
| Falsos positivos | De cada 100 textos legítimos, quantos foram sinalizados por engano. |
2. Textos curtos e prompts
Cada exemplo é analisado isoladamente, como faria a chamada POST /api/v1/check.
| Conjunto | Ataques | Legítimos | Detecção | Precisão | Falsos positivos |
|---|---|---|---|---|---|
| ai-safety-brazil/prompt-injection-br-synthetic |
400 | 400 | 93,5% | 99,2% | 0,8% |
| usezn/zn-prompt-injection-bench |
149 | 1.088 | 100% | 98,7% | 0,2% |
| jackhhao/jailbreak-classification |
141 | 259 | 85,1% | 100% | 0% |
| drakkeng/outilsia-injections-prompt-multilingue |
93 | 91 | 83,9% | 90,7% | 8,8% |
| yanismiraoui/prompt_injections |
152 | n/d | 80,3% | 100% | n/d |
| Lakera/gandalf_ignore_instructions |
112 | n/d | 77,7% | 100% | n/d |
| deepset/prompt-injections |
60 | 56 | 40% | 100% | 0% |
"n/d": o conjunto só contém ataques, então não há como medir falsos positivos nele.
3. Falsos positivos em texto legítimo
1.929 trechos de documentação real, em português e inglês: páginas de ajuda de software (GNOME) e documentação técnica (Python e conda). Nenhum contém ataque. 3 foram sinalizados por engano, o equivalente a 0,16%.
Documentos jurídicos, financeiros e de RH têm vocabulário diferente deste conjunto. Se o seu volume for alto, recomendamos medir a taxa de falsos positivos numa amostra dos seus próprios documentos antes de bloquear automaticamente.
4. Ataques dentro de documentos
O cenário mais comum na prática é diferente de um prompt isolado: uma frase maliciosa no meio de páginas de texto legítimo, muitas vezes escondida. Para medir isso, inserimos ataques dos conjuntos de teste em documentos reais de três tamanhos (cerca de 600, 3.000 e 12.000 caracteres), em posições sorteadas, com diferentes formas de inserção. Como controle, inserimos textos legítimos da mesma forma.
| Forma de inserção | Arquivo sinalizado | Ataque identificado | Falsos positivos no controle |
|---|---|---|---|
| Texto visível (TXT) | 59,9% | 55,8% | 0,8% |
| Texto visível (HTML) | 60,3% | 55,8% | 0% |
| Texto visível (Word) | 60,3% | 55,5% | 1,2% |
| Texto visível (PDF) | 46,5% | 43,3% | 0,4% |
| Comentário em Markdown | 77,9% | 75% | 4,2% |
| Oculto por CSS (display: none) | 100% | 75% | 2,5% |
| Texto branco em HTML | 100% | 75% | 2,5% |
| Texto oculto no Word | 100% | 75% | 2,5% |
| Texto invisível em PDF | 100% | 64,1% | 2,5% |
- Arquivo sinalizado: o veredito do arquivo não foi
safe. - Ataque identificado: a própria instrução maliciosa foi apontada como injeção, e não apenas o fato de haver texto oculto.
- Nas formas ocultas, todo texto escondido já torna o arquivo suspeito, mesmo que seja legítimo. Por isso, nessas linhas, a coluna de controle mostra os casos em que um texto legítimo oculto foi confundido com um ataque.
5. Limitações conhecidas
- Ataques sutis e curtos. Pedidos indiretos, sem as formas clássicas de "ignore as instruções",
são o ponto mais fraco. No conjunto
deepset/prompt-injections, que tem muitos exemplos desse tipo, a detecção é de 40%. - Ataques visíveis em documentos longos. Quando a instrução está visível, sem nenhum recurso de ocultação, a detecção cai em relação ao prompt isolado, porque a frase fica diluída no texto ao redor: o arquivo é sinalizado em 59,9% dos casos em TXT e em 46,5% em PDF.
- Veredito "suspeito". Muitos ataques detectados ficam como
suspicious, e não comodangerous. Se a sua aplicação bloquear apenasdangerous, a detecção efetiva será menor do que a mostrada aqui. - Idiomas. As regras cobrem português, inglês e espanhol com mais profundidade. Em outros idiomas, a detecção depende mais dos classificadores.
6. Recomendações de uso
- Trate o Maskena como uma camada de proteção, junto com permissões mínimas para ferramentas e agentes e confirmação humana para ações sensíveis.
- Use
flaggedpara encaminhar à revisão edangerouspara bloquear. - Em documentos para RAG, prefira a limpeza para RAG, que remove o texto oculto pela renderização da página, independentemente de o classificador reconhecer a frase.
- Para conteúdo de alto risco, use a profundidade
max.
Encontrou um ataque que o Maskena não detecta? Envie para contato@maskena.com. Os casos recebidos são usados para melhorar a detecção.