Microaula em Método CELULA • Prévia Aberta

Em inteligência artificial, você não escolhe a placa de vídeo pelo número de ventoinhas ou pelo logotipo, mas pela quantidade exata de gigabytes de VRAM e largura de banda de memória. Faltar 500 MB de VRAM é a diferença entre o modelo rodar em segundos ou quebrar com erro 'Out of Memory'.

1. A Física das GPUs e a Matemática da VRAM

Critérios técnicos para seleção da placa aceleradora:

• VRAM vs Poder de Processamento (TFLOPS): A capacidade de memória define se o modelo cabe; o poder de processamento dita quão rápido ele gera respostas;
• O Domínio do Ecossistema CUDA: Por que as placas NVIDIA dominam a pesquisa e produção de IA e os avanços do ecossistema ROCm da AMD;
• Precisões Numéricas e Compressão de Bits: FP32 (32 bits), FP16 / BF16 (16 bits), FP8 (8 bits) e quantizações INT4 (4 bits) na prática;
• Cálculo Rápido de VRAM para LLMs: Cada 1 bilhão de parâmetros exige cerca de 2 GB de VRAM em 16 bits e 0,5 a 0,7 GB em 4 bits (com folga para contexto);
• Geração de Imagens e Treinamento de LoRA: Requisitos mínimos de VRAM para Stable Diffusion XL, Flux e treino de Low-Rank Adaptation (LoRA).

...