Dominar o Kafka Streams e o ksqlDB

Capítulo 6. Gestão avançada de estados

Este trabalho foi traduzido com recurso a IA. Agradecemos o teu feedback e comentários: [e-mail]

Nos dois capítulos anteriores, discutimos processamento com estado em Kafka Streams. À medida que aprendemos a executar agregações, junções e operações em janelas, tornou-se evidente que o processamento com estado é muito fácil de começar.

No entanto, como mencionei anteriormente, os armazenamentos de estado vêm com uma complexidade operacional adicional. À medida que escalas a tua aplicação, experimentas falhas e realizas manutenção de rotina, vais aprender que o processamento com estado requer uma compreensão mais profunda da mecânica subjacente para garantir que a tua aplicação continua a funcionar sem problemas ao longo do tempo.

O objetivo deste capítulo é aprofundar os armazenamentos de estado para que possas alcançar um nível mais alto de confiabilidade ao construir aplicações de processamento de fluxo com estado. Uma grande parte deste capítulo é dedicada ao tópico de rebalanceamento, que ocorre quando o trabalho precisa ser redistribuído pelo seu grupo de consumidores. O rebalanceamento pode ser especialmente impactante para aplicações com estado, portanto, desenvolveremos nosso entendimento para que estejas equipado para lidar com isso em suas próprias aplicações.

Algumas das perguntas a que responderemos incluem:

• Como é que os armazenamentos de estado persistentes são representados no disco?

• Como é que as aplicações ...