book

Dominar o Kafka Streams e o ksqlDB

by Mitch Seymour

April 2025

Intermediate to advanced

434 pages

12h 1m

Portuguese (Portugal, Brazil)

O'Reilly Media, Inc.

Book available

Read now

Unlock full access

Quem deve ler este livroComo navegar neste livroCódigo fonteVersão do Kafka StreamsVersão do ksqlDBConvenções utilizadas neste livroUtilizar exemplos de códigoAprendizagem em linha da O'ReillyComo contactar-nosAgradecimentos
Modelo de comunicaçãoComo é que os fluxos são armazenados?Tópicos e partiçõesEventosCluster Kafka e corretoresGrupos de consumidoresInstalar o KafkaOlá, KafkaResumo
O ecossistema KafkaAntes do Kafka StreamsEntra em Kafka StreamsVisão geral das caraterísticasCaraterísticas operacionaisEscalabilidadeFiabilidadeManutençãoComparação com outros sistemasModelo de implantaçãoModelo de processamentoKappa ArquiteturaCasos de utilizaçãoTopologias de processadoresSub-TopologiasProcessamento em profundidadeVantagens da programação de fluxo de dadosTarefas e threads de fluxoDSL de alto nível versus API de baixo nível do processadorApresentando nosso tutorial: Olá, StreamsConfiguração do projetoCriar um novo projetoAdicionar a dependência de fluxos do KafkaDSLAPI do processadorFluxos e tabelasDualidade entre o fluxo e a mesaKStream, KTable, GlobalKTableResumo
Processamento sem estado versus processamento com estadoApresentando nosso tutorial: Processando um fluxo do TwitterConfiguração do projetoAdicionar um processador de origem KStreamSerialização/DeserializaçãoConstruir uma seringa personalizadaDefinição de classes de dadosImplementar um desserializador personalizadoImplementando um serializador personalizadoConstruir o Tweet SerdesFiltragem de dadosDados de ramificaçãoTraduzir TweetsFusão de fluxosEnriquecer os TweetsClasse de dados AvroAnálise de sentimentosSerialização de dados AvroAvro Serdes sem registoSeres Avro com reconhecimento de registo de esquemasAdicionar um processador SinkExecuta o códigoVerificação empíricaResumo
Vantagens do processamento com estadoPré-visualização dos Operadores com EstadoLojas do EstadoCaraterísticas comunsArmazenamentos persistentes versus armazenamentos na memóriaApresentamos-te o nosso tutorial: Tabela de classificação de jogos de vídeoConfiguração do projetoModelos de dadosAdicionando os processadores de origemKStreamTabela KTTabela GlobalKTableRegistar fluxos e tabelasJunta-te a nósJunta-te aos operadoresJunta tiposCo-ParticipaçãoMarceneiros de valorJunta KStream a KTable (junção de jogadores)Junta de KStream a GlobalKTable (junção de produtos)Agrupar registosAgrupamento de fluxosTabelas de agrupamentoAgregaçõesAgregação de fluxosTabelas de agregaçãoJuntar tudoConsultas interactivasLojas materializadasAcessando armazenamentos de estado somente leituraConsulta de armazenamentos de valores chave sem janelaConsultas locaisConsultas remotasResumo
Apresentando nosso tutorial: Aplicação de monitorização de pacientesConfiguração do projetoModelos de dadosSemântica do tempoExtractores de carimbos de data/horaExtractores de carimbo de data/hora incluídosExtractores de carimbo de data/hora personalizadosRegistar fluxos com um extrator de carimbo de data/horaWindows StreamsTipos de WindowsSelecionar um WindowsAgregação em janelasResultados da janela de emissãoPeríodo de carênciaSupressãoFiltragem e rechaveamento de tabelas de WindowsJunções em janelaFluxo de dados orientado pelo tempoAlertas SumidouroConsulta de armazenamentos de valores chave em janelasResumo
Layout de disco do armazenamento persistenteTolerância a falhasTópicos do registo de alteraçõesRéplicas em esperaReequilibra-te: Inimigo do Estado (Loja)Evitar a migração do EstadoAtribuição fixaAssociação estáticaReduzir o impacto dos reequilíbriosReequilíbrio cooperativo incrementalControlar o tamanho do estadoDeduplicação de gravações com caches de registosMonitorização da loja estatalAdicionar ouvintes de estadoAdicionar ouvintes de restauração de estadoMétricas incorporadasConsultas interactivasLojas de Estado PersonalizadasResumo

Quando usar a API do processadorApresenta o nosso tutorial: Serviço de gémeo digital IoTConfiguração do projetoModelos de dadosAdição de processadores de origemAdicionando processadores de fluxo sem estadoCriando processadores sem estadoCriando processadores com estadoFunções periódicas com pontuaçãoAceder aos metadados dos registosAdicionar processadores SinkConsultas interactivasJuntar tudoCombinação da API do processador com a DSLProcessadores e transformadoresJuntando tudo: RefactorResumo
O que é o ksqlDB?Quando utilizar o ksqlDBEvolução de um novo tipo de base de dadosIntegração de fluxos do KafkaConecta a integraçãoComo é que o ksqlDB se compara a uma base de dados SQL tradicional?SemelhançasDiferençasArquiteturaServidor ksqlDBClientes ksqlDBModos de implementaçãoModo interativoModo sem cabeçaTutorialInstalando o ksqlDBExecutar um servidor ksqlDBPré-criação de tópicosUsando a CLI do ksqlDBResumo
Visão geral do Kafka ConnectLigação externa versus incorporadaModo externoModo incorporadoConfiguração de Connect WorkersConversores e formatos de serializaçãoTutorialInstalação de conectoresCriar conectores com o ksqlDBMostrar conectoresDescrição dos conectoresDesmontagem de conectoresVerificação do conetor de origemInteragir diretamente com o Kafka Connect ClusterIntrospeção de esquemas geridosResumo
Tutorial: Monitorizar alterações na NetflixConfiguração do projetoTópicos de origemTipos de dadosTipos personalizadosColecçõesCriação de conjuntos de fontes de suprimentoCom cláusulaTrabalhar com fluxos e tabelasMostrar fluxos e tabelasDescrição de fluxos e tabelasAlteração de fluxos e tabelasEliminação de fluxos e tabelasConsultas básicasInserir valoresSelecções simples (consultas push transitórias)ProjeçãoFiltragemAchatamento/aninhamento de estruturas complexasExpressões condicionaisCoalesceIFNULLDeclarações de casosEscrever resultados de volta para o Kafka (consultas persistentes)Criar colecções derivadasJuntar tudoResumo
Configuração do projetoBootstrap de um ambiente a partir de um ficheiro SQLEnriquecimento de dadosJunta-te a nósJunções em janelaAgregaçõesNoções básicas de agregaçãoAgregações em WindowsVistas materializadasClientesConsultas pullEnrolarConsultas pushEnviar consultas via CurlFunções e operadoresOperadoresMostrar funçõesDescrição de funçõesCriar funções personalizadasRecursos adicionais para funções personalizadas do ksqlDBResumo
TestesTestar consultas ksqlDBTestar os fluxos do KafkaTestes comportamentaisAvaliação comparativaAvalia o cluster KafkaConsiderações finais sobre os testesMonitorizaçãoLista de controlo de monitorizaçãoExtraindo métricas JMXImplantaçãoContentores ksqlDBContentores de fluxos KafkaOrquestração de contentoresOperaçõesReiniciar uma aplicação Kafka StreamsLimitação da taxa de saída da tua aplicaçãoAtualização dos fluxos do KafkaAtualização do ksqlDBResumo
Gestão da configuraçãoPropriedades de configuraçãoConfigurações específicas do consumidor
Configurações de consultaConfigurações do servidorConfigurações de segurança

Content preview from Dominar o Kafka Streams e o ksqlDB

Capítulo 9. Integração de dados com o ksqlDB

Este trabalho foi traduzido com recurso a IA. Agradecemos o teu feedback e comentários: translation-feedback@oreilly.com

O primeiro passo para construir uma aplicação de processamento de streams com o ksqlDB é considerar onde os dados que pretendes que o processe residem atualmente, e onde os dados enriquecidos/transformados serão eventualmente escritos. Uma vez que o ksqlDB utiliza o Kafka Streams, as entradas e saídas diretas da aplicação que constrói serão sempre tópicos Kafka. O ksqlDB simplifica a integração de outras fontes de dados, incluindo sistemas populares de terceiros como Elasticsearch, PostgreSQL, MySQL, Google PubSub, Amazon Kinesis, MongoDB e centenas de outros.

Naturalmente, se os teus dados já residem no Kafka e não planeias escrever os resultados processados num sistema externo, então não é necessário trabalhar com as funcionalidades de integração de dados do ksqlDB (que são conduzidas pelo Kafka Connect). No entanto, se alguma vez precisares de ler/escrever em sistemas externos, este capítulo fornecerá as bases necessárias para te ajudar a ligar as fontes de dados e os sumidouros apropriados utilizando o ksqlDB e o Kafka Connect.

Este capítulo não é um guia completo sobre o Kafka Connect, que é uma API separada no ecossistema Kafka e, consequentemente, um tópico sobre o qual muito pode e tem sido escrito. Forneceremos informações suficientes para começar e analisaremos as abstrações de alto nível do ksqlDB para trabalhar ...