Testes e Depuração
- Como usar o botão Debug para testar pré-ações
- Como testar seu agente em uma conversa ao vivo
- Como usar níveis de log e logs para diagnosticar problemas
Antes de conectar seu agente de IA a um canal de produção, é importante testá-lo completamente. O AutoTalk fornece várias ferramentas para testes e depuração de agentes em diferentes níveis.
Depurando pré-ações
Se seu agente LLM usa pré-ações (configuradas na aba Actions), você pode testá-las sem executar uma conversa completa:
- Abra o agente e vá para a aba Actions.
- Clique no botão Iniciar Debug (cuja dica de ferramenta diz "Depurar tudo").
- O AutoTalk executa cada etapa de pré-ação em sequência e mostra o resultado de cada uma, incluindo quaisquer dados produzidos ou erros encontrados.
Isso permite verificar que cada etapa funciona corretamente antes de o agente entrar em operação. Se uma etapa falhar, você pode corrigi-la e clicar em Iniciar Debug novamente imediatamente.
Testando com conversas ao vivo
A maneira mais realista de testar um agente é atribuí-lo a um canal e enviar mensagens como um contato faria:
- Atribua o agente a um canal de teste (ou um número/conta secundária que você controla).
- Envie mensagens para aquele canal de um telefone pessoal ou navegador.
- Observe como o agente responde na caixa de entrada do AutoTalk.
- Na visualização da conversa, procure o botão de alternância do bot -- ele permite habilitar ou desabilitar o agente por conversa. Use-o para alternar entre respostas automatizadas e manuais durante os testes.
O que testar
- Perguntas comuns: Faça os tipos de perguntas que seus contatos reais fazem com mais frequência.
- Casos extremos: Tente perguntas ambíguas, fora do tópico ou com múltiplas partes para ver como o agente as trata.
- Testes de limites: Pergunte sobre tópicos que o agente deve recusar (para verificar se suas mensagens do sistema definem barreiras adequadas).
- Uso de ferramentas: Se o agente tem ferramentas configuradas, acione cenários que devem causar chamadas de ferramentas e verifique os resultados.
- Conversas longas: Continue uma conversa por muitas trocas para verificar se o contexto é mantido e se o agente não perde o fio.
Usando níveis de log para depuração
Cada agente tem uma configuração de Log Level no seu formulário de configuração. Durante testes e depuração, defina para um nível de verbosidade mais alto para capturar mais detalhes sobre o que o agente está fazendo internamente.
Uma vez que o agente esteja estável e em produção, você pode diminuir o nível de log para reduzir ruído e uso de armazenamento. Veja Visualizando Logs para detalhes sobre onde encontrar e ler os logs.
Problemas comuns e soluções
| Problema | Causa possível | Solução |
|---|---|---|
| Agente fornece informações imprecisas | Mensagens do sistema são muito vagas ou faltam fatos importantes | Adicione detalhes mais específicos às mensagens do sistema na aba Messages |
| Agente não usa suas ferramentas | Descrições das ferramentas são pouco claras ou a escolha de ferramenta está mal configurada | Revise as descrições das ferramentas na aba Tools e garanta que a escolha de ferramenta esteja definida como "auto" |
| Respostas são muito longas ou prolixas | Temperatura está muito alta ou o máximo de tokens não está definido | Diminua a temperatura na aba Advanced e defina um limite de tokens |
| Agente responde sobre tópicos que deveria evitar | Faltam barreiras nas mensagens do sistema | Adicione instruções explícitas de "não faça" às mensagens do sistema |
| Pré-ações falham silenciosamente | Uma etapa tem configuração incorreta | Use o botão "Iniciar Debug" (dica de ferramenta "Depurar tudo") na aba Actions para identificar a etapa que falha |
| Agente não responde de forma alguma | O agente não está atribuído ao canal, ou o botão de alternância do bot está desativado | Verifique a atribuição do canal e confirme que o botão de alternância do bot está habilitado na conversa |