Microaula em Método CELULA • Prévia Aberta

Em 2017, o artigo 'Attention Is All You Need' da equipe do Google mudou para sempre a história da inteligência artificial. Ao substituir o processamento sequencial de palavras por mecanismos de atenção paralela global, os Transformers pavimentaram o caminho para a era dos modelos de linguagem modernos.

1. A Mecânica da Auto-Atenção (Self-Attention)

Como cada token consulta todos os outros tokens da frase:

• Queries, Keys e Values (Q, K, V): Cada palavra é projetada linearmente em três vetores: Query (o que procuro), Key (o que sou) e Value (o que entrego);
• A Equação Fundamental de Atenção: Attention(Q, K, V) = softmax((Q * K^T) / sqrt(d_k)) * V. O produto Q*K calcula afinidades semânticas que o softmax normaliza como pesos ponderados sobre os valores V;
• Multi-Head Attention: Múltiplas cabeças de atenção aprendem aspectos relacionais diferentes simultaneamente (uma cabeça foca em gramática, outra em concordância de gênero, outra em contexto de tempo);
• Codificação Posicional (Positional Encoding): Como os Transformers processam tudo em paralelo, vetores de posição senoidais ou rotativos (RoPE) são somados para injetar a noção de ordem....