Microaula em Método CELULA • Prévia Aberta

Depois de montar o hardware, o aluno vivencia imediatamente a magia de executar inteligência artificial sem depender de internet. Rodar um modelo de linguagem local demonstra na prática a diferença abissal de velocidade entre processamento em GPU versus CPU.

1. Primeiro Teste de Inferência Local com Ollama

Instalação do motor de IA e primeiras métricas de bancada:

• Ollama: A Ferramenta Mais Ágil para LLMs Locais: Instalação simplificada que encapsula o llama.cpp com API local integrada;
• Download de Modelo de 7 Bilhões de Parâmetros: Execução do comando ollama run llama3:8b ou modelo similar quantizado em 4 bits (GGUF);
• Mensuração de Tokens por Segundo: Cálculo da cadência de geração de texto (palavras por segundo) exibida pelo comando com flag de telemetria;
• Monitoramento de Memória com Task Manager / nvidia-smi: Observação em tempo real do preenchimento da VRAM da placa e alocação residual de memória do sistema;
• Comparativo Prático GPU vs CPU: Forçar a execução exclusivamente na CPU (offload zero) e comprovar a queda dramática de velocidade de resposta.

...