Duas pessoas leem uma resposta de IA e discordam: uma acha excelente, a outra diz que não serve. Muitas vezes, elas avaliam coisas diferentes. Uma observa a escrita; a outra, a presença de uma informação obrigatória. Uma ficha de critérios, também chamada de rubrica, transforma essa impressão em uma avaliação que pode ser repetida.
Defina o que a tarefa exige
Comece pelo uso da resposta. Um resumo interno, uma descrição de produto e uma orientação ao cliente não precisam da mesma ficha. Escreva os requisitos indispensáveis e quais falhas impedem o uso do resultado, mesmo que o restante esteja bem apresentado.
A documentação de avaliadores da Microsoft distingue qualidade da escrita de correção factual. Essa separação é importante para uma avaliação manual: clareza não pode ser usada como substituta da conferência das informações.
Uma ficha inicial com quatro critérios
- Fidelidade: as afirmações correspondem às referências aprovadas?
- Completude: a resposta inclui as informações necessárias à tarefa?
- Utilidade: orienta o próximo passo de maneira executável?
- Clareza: pode ser entendida pelo público sem ambiguidade desnecessária?
Para cada critério, use uma escala curta e defina o significado de cada nota. Por exemplo: zero para requisito não atendido, um para atendimento parcial e dois para atendimento completo. Essa escala é uma sugestão editorial; o importante é que os avaliadores concordem sobre exemplos concretos de cada nível.
Exemplo: resposta sobre retirada de pedido
Em uma loja fictícia, o procedimento exige informar endereço, horário e necessidade de confirmação do pedido. Uma resposta traz endereço e horário, mas garante retirada imediata sem confirmação. Ela pode receber uma boa avaliação de clareza e, ao mesmo tempo, falhar na fidelidade. A promessa não autorizada deve ser marcada como falha crítica, sem desaparecer na média das notas.
Prepare uma resposta aceitável, uma incompleta e uma claramente inadequada para calibrar a ficha com a equipe. Peça que duas pessoas avaliem esses exemplos separadamente e discutam as diferenças. Se a definição de um critério gerar interpretações opostas, ajuste a ficha antes de comparar ferramentas.
Compare sem favorecer o nome do fornecedor
Quando for viável, identifique as respostas apenas como A e B. Use a mesma pergunta, contexto e referências. Registre também a configuração e a data, porque alterações na ferramenta podem mudar o resultado. Uma única resposta não é amostra suficiente para representar toda a operação.
A IA pode ajudar a apontar possíveis falhas, mas usá-la como avaliadora não elimina a necessidade de conferência. A própria avaliação automatizada pode variar ou deixar passar erros. Comece com uma amostra humana e preserve exemplos que expliquem as decisões.
Use a ficha para decidir o próximo ajuste
Se os resultados falham em completude, talvez a instrução esteja vaga. Se falham em fidelidade, investigue as referências e as afirmações acrescentadas. Esse diagnóstico complementa o guia de testes de IA antes da produção.
Associe a aprovação ao fluxo de revisão humana. A ficha não serve para produzir uma nota bonita; serve para mostrar quais requisitos foram atendidos e quais mudanças precisam acontecer antes de a resposta ser usada.
Fonte: Microsoft Learn
0 comentários
Participe da conversa. Todos os comentários passam por moderação.