Dominar o Kafka Streams e o ksqlDB

Capítulo 3. Processamento sem estado

Este trabalho foi traduzido com recurso a IA. Agradecemos o teu feedback e comentários: [e-mail]

A forma mais simples de processamento de fluxo não requer a memorização de eventos vistos anteriormente. Cada evento é consumido, processado,¹ e subsequentemente esquecido. Este paradigma é chamado de processamento sem estado, e o Kafka Streams inclui um rico conjunto de operadores para trabalhar com dados de forma sem estado.

Neste capítulo, vamos explorar os operadores sem estado que estão incluídos no Kafka Streams e, ao fazê-lo, veremos como algumas das tarefas de processamento de fluxo mais comuns podem ser abordadas com facilidade. Os tópicos que exploraremos incluem:

• Filtrar registos

• Adicionar e remover campos

• Reescrever registos

• Fluxos de ramificação

• Fundir fluxos

• Transforma os registos em uma ou mais saídas

• Enriquecer os registos, um de cada vez

Vamos adotar uma abordagem baseada em tutoriais para introduzir estes conceitos. Especificamente, faremos o streaming de dados sobre criptomoedas do Twitter e aplicaremos alguns operadores sem estado para converter os dados brutos em algo mais significativo: sinais de investimento. No final deste capítulo, entenderás como usar operadores sem estado em Kafka Streams para enriquecer e transformar dados brutos, o que te preparará para os conceitos mais avançados que exploraremos em capítulos posteriores.

Antes de entrarmos no tutorial, vamos ter uma melhor referência ...