O chatbot respondeu corretamente “qual é o horário de funcionamento?” e parece pronto. Mas o cliente pode perguntar sobre feriado, retirada de pedido atrasado ou uma exceção que não existe na base. Antes de disponibilizar o atendimento, a empresa precisa verificar mais do que a resposta mais fácil da demonstração.
Escreva o resultado esperado antes do teste
Para cada pergunta, registre o que a resposta deve conter, o que não pode prometer e quando deve chamar uma pessoa. O responsável pelo processo precisa aprovar esse gabarito. Se a própria equipe discorda da regra de troca ou do prazo de entrega, o primeiro problema é a documentação.
A documentação da Anthropic sobre avaliações trata testes específicos da tarefa e casos de exceção. A aplicação prática abaixo organiza um conjunto pequeno para começar; passar por ele não comprova que o chatbot acertará todas as situações reais.
Distribua as perguntas em cinco grupos
- Rotina: horário, endereço, documentos necessários e etapas de um pedido.
- Variações: erros de digitação, frases curtas e formas diferentes de pedir a mesma informação.
- Informação ausente: prazo ou disponibilidade que não constam na referência.
- Limites: pedido de desconto não autorizado, dados de outro cliente ou ação fora da função do assistente.
- Conversa: o cliente corrige uma informação ou muda de assunto no meio do atendimento.
Comece, por exemplo, com quatro perguntas por grupo. Esse total é apenas uma sugestão de organização. Se a empresa atende situações muito diferentes, será necessário ampliar a amostra, especialmente onde uma resposta errada pode causar prejuízo.
Exemplo de ficha de teste
Em uma loja fictícia, a pergunta é: “Meu pedido vai chegar hoje?”. A base informa apenas que o prazo depende da confirmação logística. O resultado esperado não é uma data. É explicar o limite, solicitar somente a informação necessária pelo canal adequado e encaminhar a consulta conforme o processo.
A ficha registra: pergunta, contexto, referência, resposta recebida, aprovação ou reprovação e motivo. Uma resposta pode ser educada e mesmo assim reprovar por inventar a entrega. Outra pode estar correta, mas precisar de ajuste porque pede dados que o atendimento ainda não precisa coletar.
Teste a sequência, não só frases isoladas
Depois de obter uma resposta, acrescente “na verdade é para outra cidade” ou “não tenho o número do pedido”. Verifique se o assistente reconhece a mudança e mantém as limitações. Repita alguns casos em novas conversas, porque uma resposta correta não garante comportamento consistente.
Separe uma parte das perguntas para a validação final, sem usá-las a cada ajuste. Isso reduz a chance de melhorar apenas os exemplos conhecidos. O roteiro complementa os testes antes de automatizar uma tarefa.
A aprovação inclui o caminho humano
Confira se o encaminhamento funciona de verdade e se alguém assume o pedido. A experiência depende da organização do atendimento, não apenas da frase gerada. Após o lançamento, dúvidas novas e erros confirmados devem entrar no conjunto de testes, com dados pessoais removidos e revisão do responsável.
Fonte: Anthropic — Claude Platform Docs
0 comentários
Participe da conversa. Todos os comentários passam por moderação.