Microaula em Método CELULA • Prévia Aberta

Sistemas de IA introduzem novos vetores de ataque que a segurança da informação tradicional não consegue conter: o próprio texto em linguagem natural vira código malicioso. O especialista em IA precisa dominar a arte do Red Teaming e implementar defesas em camadas para proteger aplicações corporativas.

1. O Guia OWASP Top 10 para Aplicações com LLMs

As ameaças mais críticas em ambientes corporativos:

• LLM01: Prompt Injection: Manipulação do modelo através de comandos diretos do usuário ou comandos ocultos em documentos analisados (indireta) para forçar o desvio das instruções originais;
• LLM02: Vazamento de Dados Sensíveis: Quando o modelo reproduz segredos, chaves de API ou dados de outros usuários armazenados no contexto ou treino;
• LLM06: Execução Excessiva de Ações: Concessão de permissões desmedidas para agentes executarem ações sem validação humana;
• Guardrails e Filtros de Entrada/Saída: Implementação de bibliotecas de proteção (como NeMo Guardrails ou Llama Guard) para inspecionar mensagens antes e depois da chamada ao modelo.

...