O que separa um agente de IA de uma demo bonita
Demo passa em cinco casos escolhidos a dedo. Produção tem os outros noventa e cinco.
É fácil montar um agente que impressiona numa reunião. Você escolhe três entradas boas, o modelo acerta, todo mundo aplaude. O problema começa quando o agente encontra a quarta entrada — a que veio com acento errado, campo vazio e uma pergunta que ninguém previu.
Avaliação antes de escalar
Antes de aumentar o alcance de qualquer agente, eu monto um conjunto de casos com resposta esperada, incluindo os feios: entrada truncada, dado ambíguo, pedido fora de escopo. Sem esse conjunto, qualquer mudança de prompt é aposta — você melhora um caso e quebra três sem saber.
É trabalho chato e é a diferença entre um sistema que você pode mexer e um que ninguém tem coragem de tocar.
Ferramenta com contrato, não com esperança
Agente que chama ferramenta precisa de contrato: entrada validada, saída tipada, erro previsto. Se a ferramenta pode falhar — e pode — o agente precisa saber o que fazer com a falha, e não improvisar um texto simpático dizendo que deu tudo certo.
Limite explícito e saída para humano
Todo agente que roda em produção precisa de dois limites: um de custo e um de competência. Custo, porque um loop mal fechado gasta em uma madrugada o orçamento do mês. Competência, porque existe pedido que ele não deve tentar resolver — e a resposta certa ali é passar para uma pessoa, rápido e sem drama.
O que eu meço
Custo por chamada, taxa de acerto no conjunto de avaliação, quantas vezes caiu para humano e por quê. Se um agente não tem esses quatro números, ele não está em produção — está em demonstração prolongada.