Microaula em Método CELULA • Prévia Aberta

<p><strong>Circunstância Científica e Operacional:</strong> Ao inspecionar as camadas intermediárias de um Transformer, pesquisadores descobriram que certas cabeças de atenção conectam diretamente o verbo ao núcleo sintático do sujeito a dezenas de palavras de distância, reconstruindo implicitamente a árvore sintática.</p>

Célula 04: Cabeças de Atenção (Attention Heads) como Detectores Sintáticos Emergentes

Objetivo de Aprendizagem: Mapear através de técnicas de interpretabilidade mecanicista como cabeças de atenção específicas especializam-se espontaneamente em rastrear relações sujeito-verbo e antecedente-anáfora.

1. Contextualização e Fundamentos Operacionais

Contextualização e Fundamentos em O Desafio à Gramática Inata e Sintaxe Estatística nos LLMs: Ao inspecionar as camadas intermediárias de um Transformer, pesquisadores descobriram que certas cabeças de atenção conectam diretamente o verbo ao núcleo sintático do sujeito a dezenas de palavras de distância, reconstruindo implicitamente a árvore sintática. O objetivo estruturante desta célula é: Mapear através de técnicas de interpretabilidade mecanicista como cabeças de atenção específicas especializam-se espontaneamente em rastrear relações sujeito-verbo e antecedente-anáfora.

2. Dinâmica Com...