book

Dominar o Kafka Streams e o ksqlDB

by Mitch Seymour

April 2025

Intermediate to advanced

434 pages

12h 1m

Portuguese (Portugal, Brazil)

O'Reilly Media, Inc.

Book available

Read now

Unlock full access

Quem deve ler este livroComo navegar neste livroCódigo fonteVersão do Kafka StreamsVersão do ksqlDBConvenções utilizadas neste livroUtilizar exemplos de códigoAprendizagem em linha da O'ReillyComo contactar-nosAgradecimentos
Modelo de comunicaçãoComo é que os fluxos são armazenados?Tópicos e partiçõesEventosCluster Kafka e corretoresGrupos de consumidoresInstalar o KafkaOlá, KafkaResumo
O ecossistema KafkaAntes do Kafka StreamsEntra em Kafka StreamsVisão geral das caraterísticasCaraterísticas operacionaisEscalabilidadeFiabilidadeManutençãoComparação com outros sistemasModelo de implantaçãoModelo de processamentoKappa ArquiteturaCasos de utilizaçãoTopologias de processadoresSub-TopologiasProcessamento em profundidadeVantagens da programação de fluxo de dadosTarefas e threads de fluxoDSL de alto nível versus API de baixo nível do processadorApresentando nosso tutorial: Olá, StreamsConfiguração do projetoCriar um novo projetoAdicionar a dependência de fluxos do KafkaDSLAPI do processadorFluxos e tabelasDualidade entre o fluxo e a mesaKStream, KTable, GlobalKTableResumo
Processamento sem estado versus processamento com estadoApresentando nosso tutorial: Processando um fluxo do TwitterConfiguração do projetoAdicionar um processador de origem KStreamSerialização/DeserializaçãoConstruir uma seringa personalizadaDefinição de classes de dadosImplementar um desserializador personalizadoImplementando um serializador personalizadoConstruir o Tweet SerdesFiltragem de dadosDados de ramificaçãoTraduzir TweetsFusão de fluxosEnriquecer os TweetsClasse de dados AvroAnálise de sentimentosSerialização de dados AvroAvro Serdes sem registoSeres Avro com reconhecimento de registo de esquemasAdicionar um processador SinkExecuta o códigoVerificação empíricaResumo
Vantagens do processamento com estadoPré-visualização dos Operadores com EstadoLojas do EstadoCaraterísticas comunsArmazenamentos persistentes versus armazenamentos na memóriaApresentamos-te o nosso tutorial: Tabela de classificação de jogos de vídeoConfiguração do projetoModelos de dadosAdicionando os processadores de origemKStreamTabela KTTabela GlobalKTableRegistar fluxos e tabelasJunta-te a nósJunta-te aos operadoresJunta tiposCo-ParticipaçãoMarceneiros de valorJunta KStream a KTable (junção de jogadores)Junta de KStream a GlobalKTable (junção de produtos)Agrupar registosAgrupamento de fluxosTabelas de agrupamentoAgregaçõesAgregação de fluxosTabelas de agregaçãoJuntar tudoConsultas interactivasLojas materializadasAcessando armazenamentos de estado somente leituraConsulta de armazenamentos de valores chave sem janelaConsultas locaisConsultas remotasResumo
Apresentando nosso tutorial: Aplicação de monitorização de pacientesConfiguração do projetoModelos de dadosSemântica do tempoExtractores de carimbos de data/horaExtractores de carimbo de data/hora incluídosExtractores de carimbo de data/hora personalizadosRegistar fluxos com um extrator de carimbo de data/horaWindows StreamsTipos de WindowsSelecionar um WindowsAgregação em janelasResultados da janela de emissãoPeríodo de carênciaSupressãoFiltragem e rechaveamento de tabelas de WindowsJunções em janelaFluxo de dados orientado pelo tempoAlertas SumidouroConsulta de armazenamentos de valores chave em janelasResumo
Layout de disco do armazenamento persistenteTolerância a falhasTópicos do registo de alteraçõesRéplicas em esperaReequilibra-te: Inimigo do Estado (Loja)Evitar a migração do EstadoAtribuição fixaAssociação estáticaReduzir o impacto dos reequilíbriosReequilíbrio cooperativo incrementalControlar o tamanho do estadoDeduplicação de gravações com caches de registosMonitorização da loja estatalAdicionar ouvintes de estadoAdicionar ouvintes de restauração de estadoMétricas incorporadasConsultas interactivasLojas de Estado PersonalizadasResumo

Quando usar a API do processadorApresenta o nosso tutorial: Serviço de gémeo digital IoTConfiguração do projetoModelos de dadosAdição de processadores de origemAdicionando processadores de fluxo sem estadoCriando processadores sem estadoCriando processadores com estadoFunções periódicas com pontuaçãoAceder aos metadados dos registosAdicionar processadores SinkConsultas interactivasJuntar tudoCombinação da API do processador com a DSLProcessadores e transformadoresJuntando tudo: RefactorResumo
O que é o ksqlDB?Quando utilizar o ksqlDBEvolução de um novo tipo de base de dadosIntegração de fluxos do KafkaConecta a integraçãoComo é que o ksqlDB se compara a uma base de dados SQL tradicional?SemelhançasDiferençasArquiteturaServidor ksqlDBClientes ksqlDBModos de implementaçãoModo interativoModo sem cabeçaTutorialInstalando o ksqlDBExecutar um servidor ksqlDBPré-criação de tópicosUsando a CLI do ksqlDBResumo
Visão geral do Kafka ConnectLigação externa versus incorporadaModo externoModo incorporadoConfiguração de Connect WorkersConversores e formatos de serializaçãoTutorialInstalação de conectoresCriar conectores com o ksqlDBMostrar conectoresDescrição dos conectoresDesmontagem de conectoresVerificação do conetor de origemInteragir diretamente com o Kafka Connect ClusterIntrospeção de esquemas geridosResumo
Tutorial: Monitorizar alterações na NetflixConfiguração do projetoTópicos de origemTipos de dadosTipos personalizadosColecçõesCriação de conjuntos de fontes de suprimentoCom cláusulaTrabalhar com fluxos e tabelasMostrar fluxos e tabelasDescrição de fluxos e tabelasAlteração de fluxos e tabelasEliminação de fluxos e tabelasConsultas básicasInserir valoresSelecções simples (consultas push transitórias)ProjeçãoFiltragemAchatamento/aninhamento de estruturas complexasExpressões condicionaisCoalesceIFNULLDeclarações de casosEscrever resultados de volta para o Kafka (consultas persistentes)Criar colecções derivadasJuntar tudoResumo
Configuração do projetoBootstrap de um ambiente a partir de um ficheiro SQLEnriquecimento de dadosJunta-te a nósJunções em janelaAgregaçõesNoções básicas de agregaçãoAgregações em WindowsVistas materializadasClientesConsultas pullEnrolarConsultas pushEnviar consultas via CurlFunções e operadoresOperadoresMostrar funçõesDescrição de funçõesCriar funções personalizadasRecursos adicionais para funções personalizadas do ksqlDBResumo
TestesTestar consultas ksqlDBTestar os fluxos do KafkaTestes comportamentaisAvaliação comparativaAvalia o cluster KafkaConsiderações finais sobre os testesMonitorizaçãoLista de controlo de monitorizaçãoExtraindo métricas JMXImplantaçãoContentores ksqlDBContentores de fluxos KafkaOrquestração de contentoresOperaçõesReiniciar uma aplicação Kafka StreamsLimitação da taxa de saída da tua aplicaçãoAtualização dos fluxos do KafkaAtualização do ksqlDBResumo
Gestão da configuraçãoPropriedades de configuraçãoConfigurações específicas do consumidor
Configurações de consultaConfigurações do servidorConfigurações de segurança

Content preview from Dominar o Kafka Streams e o ksqlDB

Capítulo 7. API do processador

Este trabalho foi traduzido com recurso a IA. Agradecemos o teu feedback e comentários: translation-feedback@oreilly.com

Há apenas alguns capítulos, embarcamos em nossa jornada para aprender sobre o Kafka Streams. Começamos com a DSL de alto nível do Kafka Streams, que nos permite criar aplicativos de processamento de fluxo usando uma interface funcional e fluente. Isso envolve a composição e o encadeamento de funções de processamento de fluxo usando os operadores integrados da biblioteca (por exemplo, filter, flatMap, groupBy, etc.) e abstrações (KStream, KTable, GlobalKTable).

Neste capítulo, vamos explorar uma API de nível inferior que está disponível no Kafka Streams: a API do processador (às vezes chamada de PAPI). A API do processador tem menos abstrações do que a DSL de alto nível e usa um estilo de programação imperativo. Embora o código seja geralmente mais detalhado, também é mais poderoso, dando-nos controle refinado sobre o seguinte: como os dados fluem através de nossas topologias, como os processadores de fluxo se relacionam uns com os outros, como o estado é criado e mantido e até mesmo o tempo de certas operações.

Algumas das perguntas a que responderemos neste capítulo incluem:

Quando deves utilizar a API do processador?
Como é que adicionas processadores de origem, de sumidouro e de fluxo utilizando a API Processor?
Como podes programar funções periódicas?
É possível misturar a API do processador com a DSL de nível superior? ...