Microaula em Método CELULA • Prévia Aberta

Quando um modelo de linguagem possui 70 bilhões de parâmetros ou mais, ele não cabe nos 24 GB de uma única placa de consumo. A solução é somar o poder de duas, três ou quatro GPUs. Porém, dividir modelos entre placas exige entender como os tensores trafegam entre elas e onde os gargalos acontecem.

1. Arquitetura Multi-GPU e Tipos de Paralelismo

Princípios de escalabilidade em múltiplos aceleradores:

• O Fim do NVLink no Mercado Consumidor: Por que a NVIDIA removeu pontes físicas NVLink das placas modernas de consumo, tornando a comunicação inter-GPU dependente exclusivamente do barramento PCIe;
• Paralelismo de Dados (Data Parallelism): Cada GPU possui uma cópia inteira do modelo e processa lotes diferentes de dados; excelente para treinos rápidos de modelos médios;
• Paralelismo de Tensor (Tensor Parallelism): Cada camada da rede neural é fatiada entre as placas; exige altíssima largura de banda de barramento e baixa latência;
• Paralelismo de Pipeline (Pipeline Parallelism): As camadas sequenciais da rede são distribuídas entre as placas (ex: camadas 1 a 40 na GPU 1, camadas 41 a 80 na GPU 2);
• Gargalos Físicos e Espaçamento Térmico: A necessidade de deix...