Testes e Depuracao
- Como usar o botao Debug para testar pre-acoes
- Como testar seu agente em uma conversa ao vivo
- Como usar niveis de log e logs para diagnosticar problemas
Antes de conectar seu agente de IA a um canal de producao, e importante testa-lo completamente. O AutoTalk fornece varias ferramentas para testes e depuracao de agentes em diferentes niveis.
Depurando pre-acoes
Se seu agente LLM usa pre-acoes (configuradas na aba Actions), voce pode testa-las sem executar uma conversa completa:
- Abra o agente e va para a aba Actions.
- Clique no botao Debug all.
- O AutoTalk executa cada etapa de pre-acao em sequencia e mostra o resultado de cada uma, incluindo quaisquer dados produzidos ou erros encontrados.
Isso permite verificar que cada etapa funciona corretamente antes do agente entrar em operacao. Se uma etapa falhar, voce pode corrigi-la e clicar em Debug all novamente imediatamente.
Testando com conversas ao vivo
A maneira mais realista de testar um agente e atribui-lo a um canal e enviar mensagens como um cliente faria:
- Atribua o agente a um canal de teste (ou um numero/conta secundaria que voce controla).
- Envie mensagens para aquele canal de um telefone pessoal ou navegador.
- Observe como o agente responde na caixa de entrada do AutoTalk.
- Na visualizacao da conversa, procure o botao de alternancia do bot -- isso permite habilitar ou desabilitar o agente por conversa. Use-o para alternar entre respostas automatizadas e manuais durante os testes.
O que testar
- Perguntas comuns: Faca os tipos de perguntas que seus clientes reais fazem com mais frequencia.
- Casos extremos: Tente perguntas ambiguas, fora do topico ou com multiplas partes para ver como o agente as trata.
- Testes de limites: Pergunte sobre topicos que o agente deve recusar (para verificar se suas mensagens do sistema definem barreiras adequadas).
- Uso de ferramentas: Se o agente tem ferramentas configuradas, acione cenarios que devem causar chamadas de ferramentas e verifique os resultados.
- Conversas longas: Continue uma conversa por muitas trocas para verificar se o contexto e mantido e se o agente nao perde o fio.
Usando niveis de log para depuracao
Cada agente tem uma configuracao de Log Level no seu formulario de configuracao. Durante testes e depuracao, defina para um nivel de verbosidade mais alto para capturar mais detalhes sobre o que o agente esta fazendo internamente.
Uma vez que o agente esteja estavel e em producao, voce pode diminuir o nivel de log para reduzir ruido e uso de armazenamento. Veja Visualizando Logs para detalhes sobre onde encontrar e ler os logs.
Problemas comuns e solucoes
| Problema | Causa possivel | Solucao |
|---|---|---|
| Agente fornece informacoes imprecisas | Mensagens do sistema sao muito vagas ou faltam fatos importantes | Adicione detalhes mais especificos as mensagens do sistema na aba Messages |
| Agente nao usa suas ferramentas | Descricoes das ferramentas sao pouco claras ou a escolha de ferramenta esta mal configurada | Revise as descricoes das ferramentas na aba Tools e garanta que a escolha de ferramenta esteja definida como "auto" |
| Respostas sao muito longas ou prolixas | Temperatura esta muito alta ou o maximo de tokens nao esta definido | Diminua a temperatura na aba General e defina um limite de tokens |
| Agente responde sobre topicos que deveria evitar | Faltam barreiras nas mensagens do sistema | Adicione instrucoes explicitas de "nao faca" as mensagens do sistema |
| Pre-acoes falham silenciosamente | Uma etapa tem configuracao incorreta | Use o botao "Debug all" na aba Actions para identificar a etapa que falha |
| Agente nao responde de forma alguma | O agente nao esta atribuido ao canal, ou o botao de alternancia do bot esta desativado | Verifique a atribuicao do canal e confirme que o botao de alternancia do bot esta habilitado na conversa |
Aumente o nivel de log durante o desenvolvimento ativo e testes para que voce possa ver todos os detalhes de cada interacao. Uma vez que o agente esteja funcionando bem, reduza o nivel de log para manter seus logs gerenciaveis.