Microaula em Método CELULA • Prévia Aberta

<p>Engenharia de processamento de fluxos contínuos e não limitados (unbounded streams) orientados a eventos com o motor Apache Flink. Estabelece a distinção epistemológica e prática entre as noções temporais: Event Time (momento em que o fato ocorreu no cliente/sensor), Ingestion Time (momento de entrada no cluster de mensageria) e Processing Time (relógio local da máquina executora do pipeline). Disseca o mecanismo de Watermarks para o progresso do tempo do evento em ambientes assíncronos: geração periódica e pontuada, estratégias heurísticas para tratamento de dados fora de ordem (bounded-out-of-orderness) e políticas de descarte ou desvio de dados excessivamente atrasados (late data) via side outputs. Explora a taxonomia de janelas temporais: janelas de tombamento (tumbling windows), janelas deslizantes (sliding windows) e janelas de sessão baseadas em inatividade (session windows) com funções de agregação incremental (AggregateFunction, ReduceFunction) e funções completas de janela (ProcessWindowFunction). Investiga o gerenciamento de estado distribuído de alta escala (Stateful Stream Processing): tipos de estado gerenciado por chave (ValueState, ListState, MapState) e backends de estado (HashMapStateBackend em memória heap da JVM versus EmbeddedRocksDBStateBackend baseado em LSM-trees em armazenamento local NVMe off-heap). Analisa formalmente o algoritmo de tolerância a falhas do Flink: snapshots distribuídos assíncronos baseados no algoritmo seminal de Chandy-Lamport, injeção de barreiras de checkpoint no fluxo de dados, alinhamento de barreiras (barrier alignment vs unaligned checkpoints) e restauração determinística de estado exato (Savepoints) para evolução de topologia e manutenção sem perda de dados.</p>

Engenharia de processamento de fluxos contínuos e não limitados (unbounded streams) orientados a eventos com o motor Apache Flink. Estabelece a distinção epistemológica e prática entre as noções temporais: Event Time (momento em que o fato ocorreu no cliente/sensor), Ingestion Time (momento de entrada no cluster de mensageria) e Processing Time (relógio local da máquina executora do pipeline). Disseca o mecanismo de Watermarks para o progresso do tempo do evento em ambientes assíncronos: geração periódica e pontuada, estratégias heurísticas para tratamento de dados fora de ordem (bounded-out-of-orderness) e políticas de descarte ou desvio de dados excessivamente atrasados (late data) via side outputs. Explora a taxonomia de janelas temporais: janelas de tombamento (tumbling windows), janelas deslizantes (sliding windows) e janelas de sessão baseadas em inatividade (session windows) com funções de agregação incremental (AggregateFunction, ReduceFunction) e funções completas de janela...