Microaula em Método CELULA • Prévia Aberta

<p>Arquitetura e engenharia de execução do Apache Spark para processamento batch em memória (in-memory computing). Explora a abstração seminal do RDD (Resilient Distributed Dataset): imutabilidade, coleções de objetos particionadas entre executores, avaliação preguiçosa (lazy evaluation) e rastreamento de linhagem de transformações por meio de um Grafo Acíclico Dirigido (Lineage DAG). Diferencia transformações de dependência estreita (narrow dependencies: map, filter) executadas em pipeline na mesma partição de memória daquelas de dependência ampla (wide dependencies: groupByKey, reduceByKey, join) que exigem transferência de dados através da rede física (shuffle boundary). Disseca o Spark SQL Engine e as abstrações de alto nível DataFrames e Datasets com esquemas tipados. Examina a fundo os mecanismos internos do Catalyst Optimizer: otimização de árvore de sintaxe abstrata (AST), análise semântica, otimizações lógicas rule-based e cost-based (pushdown de predicados, projeção colunar, reordenação de joins) e seleção de plano físico de execução. Analisa o motor de execução física Project Tungsten: gerenciamento de memória fora da JVM (off-heap memory) para eliminar pausas imprevisíveis de Garbage Collection, layout binário compacto de objetos de dados colunares e geração de código compilado em runtime por estágio completo (whole-stage code generation). Aborda técnicas avançadas de performance: mitigação de data skew com salting de chaves, particionamento customizado por hash/range, broadcast hash joins e estratégias de persistência em cache e disco.</p>

Arquitetura e engenharia de execução do Apache Spark para processamento batch em memória (in-memory computing). Explora a abstração seminal do RDD (Resilient Distributed Dataset): imutabilidade, coleções de objetos particionadas entre executores, avaliação preguiçosa (lazy evaluation) e rastreamento de linhagem de transformações por meio de um Grafo Acíclico Dirigido (Lineage DAG). Diferencia transformações de dependência estreita (narrow dependencies: map, filter) executadas em pipeline na mesma partição de memória daquelas de dependência ampla (wide dependencies: groupByKey, reduceByKey, join) que exigem transferência de dados através da rede física (shuffle boundary). Disseca o Spark SQL Engine e as abstrações de alto nível DataFrames e Datasets com esquemas tipados. Examina a fundo os mecanismos internos do Catalyst Optimizer: otimização de árvore de sintaxe abstrata (AST), análise semântica, otimizações lógicas rule-based e cost-based (pushdown de predicados, projeção colunar, ...