Microaula em Método CELULA • Prévia Aberta

<p>Estudo aprofundado do modelo computacional distribuído Hadoop MapReduce e do sistema de orquestração e gerenciamento de recursos corporativos Apache YARN (Yet Another Resource Negotiator). Dissecação do paradigma MapReduce (Google Research 2004): funções Map, particionamento intermediário, Shuffle &amp; Sort e funções Reduce com localidade de dados (Data Locality). Arquitetura do YARN: ResourceManager, NodeManager, ApplicationMaster e Containers elásticos. Configuração e ajuste de políticas de agendamento de recursos (Capacity Scheduler vs. Fair Scheduler) para clusters multi-inquilinos (multi-tenant).</p>

Estudo aprofundado do modelo computacional distribuído Hadoop MapReduce e do sistema de orquestração e gerenciamento de recursos corporativos Apache YARN (Yet Another Resource Negotiator). Dissecação do paradigma MapReduce (Google Research 2004): funções Map, particionamento intermediário, Shuffle & Sort e funções Reduce com localidade de dados (Data Locality). Arquitetura do YARN: ResourceManager, NodeManager, ApplicationMaster e Containers elásticos. Configuração e ajuste de políticas de agendamento de recursos (Capacity Scheduler vs. Fair Scheduler) para clusters multi-inquilinos (multi-tenant).

O Paradigma MapReduce: Divisão de Tarefas, Funções Map, Shuffle & Sort e Redução Distribuída

A abordagem divide-and-conquer que revolucionou o processamento massivo de dados em lote: 1) O Princípio Fundamental da Localidade de Dados (*Data Locality*): em vez de transferir petabytes de dados através da rede até os nós de processamento, o Hadoop envia o código de p...