Microaula em Método CELULA • Prévia Aberta

Em software tradicional, nós escrevemos testes unitários com asserções exatas: se a função somar(2,2) não retornar 4, o build quebra. Mas em LLMs, as saídas são texto livre não-determinístico. A disciplina de Evals (Avaliação Sistemática) é o que permite provar com dados que seu assistente funciona e continua funcionando após atualizações.

1. Metodologia de Evals para LLMs

Estratégias para medir qualidade de respostas de forma escalável:

• 1. Conjuntos de Teste Curados (Gold Standard Datasets): Criação de uma planilha com 50 a 100 perguntas representativas do mundo real com suas respectivas respostas ideais de referência;
• 2. Métricas de Avaliação: Avaliação baseada em regras exatas (presença de palavras-chave obrigatórias, formato JSON válido) combinada com avaliação semântica;
• 3. LLM-as-a-Judge (O Modelo como Avaliador): Uso de um modelo maior e mais rigoroso (ex: Gemini Pro) configurado com uma rubrica detalhada de notas de 1 a 5 para julgar a resposta gerada pelo modelo de produção em critérios como precisão factual, clareza e ausência de alucinação;
• 4. Testes de Regressão: Execução da suíte completa de testes sempre que houver alteração no prompt ou troca de versão do modelo para garantir que me...