Microaula em Método CELULA • Prévia Aberta

<p><strong>Circunstância Científica e Operacional:</strong> Humanos avaliam e ranqueiam diferentes respostas da máquina diante do mesmo prompt. O modelo de recompensa aprende a prever qual resposta receberia nota mais alta, guiando o LLM para respostas seguras e informativas.</p>

Célula 03: Aprendizado por Reforço com Feedback Humano (RLHF) e Modelagem de Recompensa (Reward Modeling)

Objetivo de Aprendizagem: Compreender o pipeline clássico de RLHF: coleta de preferências humanas pareadas, treinamento de um Modelo de Recompensa (Reward Model) e otimização da política do LLM via Proximal Policy Optimization (PPO).

1. Contextualização e Fundamentos Operacionais

Contextualização e Fundamentos em Alinhamento, Fine-Tuning e Viés em LLMs (RLHF): Humanos avaliam e ranqueiam diferentes respostas da máquina diante do mesmo prompt. O modelo de recompensa aprende a prever qual resposta receberia nota mais alta, guiando o LLM para respostas seguras e informativas. O objetivo estruturante desta célula é: Compreender o pipeline clássico de RLHF: coleta de preferências humanas pareadas, treinamento de um Modelo de Recompensa (Reward Model) e otimização da política do LLM via Proximal Policy Optimization (PPO).

2. Dinâmi...