Dominar o Kafka Streams e o ksqlDB

Capítulo 4. Processamento com estado

Este trabalho foi traduzido com recurso a IA. Agradecemos o teu feedback e comentários: [e-mail]

No capítulo anterior, aprendemos como realizar transformações sem estado de fluxos de registros usando a abstração KStream e um rico conjunto de operadores sem estado que estão disponíveis no Kafka Streams. Uma vez que as transformações sem estado não requerem qualquer memória de eventos vistos anteriormente, são fáceis de raciocinar e utilizar. Tratamos cada evento como um facto imutável e processamo-lo independentemente de outros eventos.

No entanto, o Kafka Streams também nos dá a capacidade de capturar e lembrar informações sobre os eventos que consumimos. As informações capturadas, ou estado, nos permitem executar operações de processamento de fluxo mais avançadas, incluindo a união e a agregação de dados. Neste capítulo, exploraremos o processamento de fluxo com estado em detalhes. Alguns dos tópicos que abordaremos incluem:

• As vantagens do processamento de fluxos com estado

• As diferenças entre factos e comportamentos

• Que tipos de operadores com estado estão disponíveis no Kafka Streams?

• Como o estado é capturado e consultado em Kafka Streams

• Como é que a abstração KTable pode ser utilizada para representar o estado local e particionado

• Como é que a abstração GlobalKTable pode ser utilizada para representar o estado global e replicado

• Como efetuar operações com estado, incluindo juntar e agregar dados