Prompt injection ocorre quando conteúdo não confiável tenta alterar as instruções do modelo. Pode vir do usuário, de uma página, e-mail ou documento recuperado. O controle não depende de um prompt perfeito: exige separar dados de instruções, limitar ferramentas, validar ações e reduzir o que o agente consegue acessar.
Um arquivo legítimo pode conter texto direcionado ao modelo. Quando o agente lê esse conteúdo e também possui ferramentas, a instrução escondida pode tentar extrair dados ou executar uma ação.
Cada ferramenta deve expor apenas operações necessárias, com escopo por usuário e ambiente. Consultar agenda não deveria conceder acesso a todos os e-mails.
Pagamento, exclusão, envio externo e mudança de permissão devem passar por regra determinística, autorização e, quando adequado, confirmação humana.
Não basta perguntar ao modelo se ele resiste. Coloque instruções adversariais nas mesmas fontes e formatos usados em produção e observe chamadas de ferramenta, logs e bloqueios.
Ler uma caixa de e-mail não deveria conceder automaticamente capacidade de enviar, excluir ou consultar outro sistema. Modele ingestão e ação como zonas diferentes, com credenciais, validações e políticas próprias. Quanto mais conteúdo externo o agente consome, mais importante é essa separação.
Defina como revogar credenciais, desativar uma ferramenta, preservar evidências e identificar execuções afetadas. Registros devem permitir localizar versão, fonte consultada e ação executada sem armazenar conteúdo sensível desnecessário. O objetivo é conter rapidamente e transformar o incidente em teste de regressão.
A primeira conversa deve reunir lideranças de negócio, produto, tecnologia, segurança e as pessoas que executarão ou revisarão a tarefa. O objetivo não é escolher uma ferramenta, mas esclarecer qual parte exige interpretação probabilística e qual deve continuar sob regra determinística. Use a resposta central deste guia como hipótese e confronte-a com o processo atual: quem inicia a tarefa, quais dados entram, onde existe julgamento, qual saída é útil e quem absorve uma exceção. O recorte inicial precisa caber em uma frase e ter começo e fim observáveis. Em seguida, transforme o problema em um conjunto de avaliações com entradas reais, resposta esperada, limite de aceitação e registro da versão usada. Se a equipe não consegue descrever o resultado esperado sem mencionar marca, plataforma ou modelo, ainda há descoberta a fazer. Um bom enquadramento também explicita o que ficará fora da primeira versão. Essa fronteira reduz dependências, protege o prazo e impede que o piloto seja avaliado por expectativas diferentes em cada área.
Escolha poucos indicadores que conectem operação e resultado. Para este tema, um conjunto inicial pode acompanhar taxa de conclusão correta, intervenção humana, custo por tarefa concluída, latência percebida e incidentes por tipo. Registre a linha de base antes da mudança e defina frequência, fonte e responsável por cada número. Média isolada costuma esconder filas, segmentos e exceções; quando houver volume, observe distribuição e casos extremos. Combine um indicador de velocidade, um de qualidade, um de custo e um de risco. Os exemplos do artigo ajudam a escolher a unidade: Documento que pede para ignorar a política; Mensagem que tenta consultar outro cliente; Página externa com instrução oculta. A métrica só é útil se levar a uma decisão. Documente antecipadamente qual variação exige investigação, qual permite ampliar o uso e qual interrompe a operação.
Transforme o processo de implantação em entregas verificáveis. Primeiro, mapear conteúdo não confiável. O resultado dessa etapa deve ser revisado por quem executa o trabalho, não apenas pela equipe técnica. Depois, reduzir ferramentas e permissões, usando uma amostra que contenha situações comuns e exceções conhecidas. Na sequência, validar parâmetros fora do modelo. Se houver mais etapas, organize-as por dependência: exigir confirmação em ações críticas; executar testes adversariais recorrentes. Libere primeiro para um grupo ou volume limitado, mantenha um caminho manual e registre cada correção relevante como caso de teste. A implantação termina apenas quando existe responsável, alerta, procedimento de recuperação e uma revisão marcada; colocar o fluxo no ar é o início da operação, não o encerramento do projeto.
A resposta fluida do modelo não é prova de correção. Fonte, ferramenta acionada, permissão e efeito produzido precisam ser verificados separadamente. Neste artigo, os limites que merecem atenção incluem Filtros reduzem risco, mas não garantem eliminação; Novas ferramentas ampliam a superfície de ataque. Converta cada limite em um controle observável: permissão mínima, confirmação, amostragem, alerta, teto de custo, versionamento ou transferência humana. Os erros mais prováveis são Confiar apenas no system prompt; Dar credencial ampla ao agente. Em vez de tratá-los como lembrete genérico, associe cada erro a um responsável e a uma evidência de prevenção. O critério de interrupção também precisa estar escrito. Não dê ao agente acesso direto e irrestrito a operações críticas quando não há camada de autorização independente. Parar, reduzir autonomia ou voltar ao fluxo anterior não representa fracasso; é uma resposta de governança quando o resultado real deixa de sustentar a hipótese inicial.
O ponto central é transformar uma intenção ampla em uma decisão observável: entrada conhecida, regra explícita, saída verificável e alguém responsável por revisar o resultado. Essa disciplina reduz retrabalho independentemente da ferramenta escolhida.
Não dê ao agente acesso direto e irrestrito a operações críticas quando não há camada de autorização independente.
Não. Um recorte pequeno, com métrica e limite claros, costuma gerar evidência melhor do que uma implantação ampla sem linha de base.
Um resumo de uma página com objetivo, usuário, fonte de dados, decisão esperada, riscos e critério de sucesso já permite uma conversa técnica produtiva.