Problema
Mudanças de prompt ou de modelo são publicadas no achismo. Uma melhoria em um caso quebra outros e ninguém percebe.
Solução
Um conjunto de avaliação versionado, alimentado por traces reais, roda a cada mudança. A publicação só acontece se as métricas não regredirem.
Quando usar
- →Qualquer sistema de IA em produção
- →Times que mudam prompts com frequência
- →Troca ou atualização de modelo
## Trade-offs
- +Mudanças com evidência
- +Regressões detectadas antes do usuário
- −Custo de rodar avaliações
- −Exige curadoria dos casos