book

Dominar o Kafka Streams e o ksqlDB

by Mitch Seymour

April 2025

Intermediate to advanced

434 pages

12h 1m

Portuguese (Portugal, Brazil)

O'Reilly Media, Inc.

Book available

Read now

Unlock full access

Quem deve ler este livroComo navegar neste livroCódigo fonteVersão do Kafka StreamsVersão do ksqlDBConvenções utilizadas neste livroUtilizar exemplos de códigoAprendizagem em linha da O'ReillyComo contactar-nosAgradecimentos
Modelo de comunicaçãoComo é que os fluxos são armazenados?Tópicos e partiçõesEventosCluster Kafka e corretoresGrupos de consumidoresInstalar o KafkaOlá, KafkaResumo
O ecossistema KafkaAntes do Kafka StreamsEntra em Kafka StreamsVisão geral das caraterísticasCaraterísticas operacionaisEscalabilidadeFiabilidadeManutençãoComparação com outros sistemasModelo de implantaçãoModelo de processamentoKappa ArquiteturaCasos de utilizaçãoTopologias de processadoresSub-TopologiasProcessamento em profundidadeVantagens da programação de fluxo de dadosTarefas e threads de fluxoDSL de alto nível versus API de baixo nível do processadorApresentando nosso tutorial: Olá, StreamsConfiguração do projetoCriar um novo projetoAdicionar a dependência de fluxos do KafkaDSLAPI do processadorFluxos e tabelasDualidade entre o fluxo e a mesaKStream, KTable, GlobalKTableResumo
Processamento sem estado versus processamento com estadoApresentando nosso tutorial: Processando um fluxo do TwitterConfiguração do projetoAdicionar um processador de origem KStreamSerialização/DeserializaçãoConstruir uma seringa personalizadaDefinição de classes de dadosImplementar um desserializador personalizadoImplementando um serializador personalizadoConstruir o Tweet SerdesFiltragem de dadosDados de ramificaçãoTraduzir TweetsFusão de fluxosEnriquecer os TweetsClasse de dados AvroAnálise de sentimentosSerialização de dados AvroAvro Serdes sem registoSeres Avro com reconhecimento de registo de esquemasAdicionar um processador SinkExecuta o códigoVerificação empíricaResumo
Vantagens do processamento com estadoPré-visualização dos Operadores com EstadoLojas do EstadoCaraterísticas comunsArmazenamentos persistentes versus armazenamentos na memóriaApresentamos-te o nosso tutorial: Tabela de classificação de jogos de vídeoConfiguração do projetoModelos de dadosAdicionando os processadores de origemKStreamTabela KTTabela GlobalKTableRegistar fluxos e tabelasJunta-te a nósJunta-te aos operadoresJunta tiposCo-ParticipaçãoMarceneiros de valorJunta KStream a KTable (junção de jogadores)Junta de KStream a GlobalKTable (junção de produtos)Agrupar registosAgrupamento de fluxosTabelas de agrupamentoAgregaçõesAgregação de fluxosTabelas de agregaçãoJuntar tudoConsultas interactivasLojas materializadasAcessando armazenamentos de estado somente leituraConsulta de armazenamentos de valores chave sem janelaConsultas locaisConsultas remotasResumo
Apresentando nosso tutorial: Aplicação de monitorização de pacientesConfiguração do projetoModelos de dadosSemântica do tempoExtractores de carimbos de data/horaExtractores de carimbo de data/hora incluídosExtractores de carimbo de data/hora personalizadosRegistar fluxos com um extrator de carimbo de data/horaWindows StreamsTipos de WindowsSelecionar um WindowsAgregação em janelasResultados da janela de emissãoPeríodo de carênciaSupressãoFiltragem e rechaveamento de tabelas de WindowsJunções em janelaFluxo de dados orientado pelo tempoAlertas SumidouroConsulta de armazenamentos de valores chave em janelasResumo
Layout de disco do armazenamento persistenteTolerância a falhasTópicos do registo de alteraçõesRéplicas em esperaReequilibra-te: Inimigo do Estado (Loja)Evitar a migração do EstadoAtribuição fixaAssociação estáticaReduzir o impacto dos reequilíbriosReequilíbrio cooperativo incrementalControlar o tamanho do estadoDeduplicação de gravações com caches de registosMonitorização da loja estatalAdicionar ouvintes de estadoAdicionar ouvintes de restauração de estadoMétricas incorporadasConsultas interactivasLojas de Estado PersonalizadasResumo

Quando usar a API do processadorApresenta o nosso tutorial: Serviço de gémeo digital IoTConfiguração do projetoModelos de dadosAdição de processadores de origemAdicionando processadores de fluxo sem estadoCriando processadores sem estadoCriando processadores com estadoFunções periódicas com pontuaçãoAceder aos metadados dos registosAdicionar processadores SinkConsultas interactivasJuntar tudoCombinação da API do processador com a DSLProcessadores e transformadoresJuntando tudo: RefactorResumo
O que é o ksqlDB?Quando utilizar o ksqlDBEvolução de um novo tipo de base de dadosIntegração de fluxos do KafkaConecta a integraçãoComo é que o ksqlDB se compara a uma base de dados SQL tradicional?SemelhançasDiferençasArquiteturaServidor ksqlDBClientes ksqlDBModos de implementaçãoModo interativoModo sem cabeçaTutorialInstalando o ksqlDBExecutar um servidor ksqlDBPré-criação de tópicosUsando a CLI do ksqlDBResumo
Visão geral do Kafka ConnectLigação externa versus incorporadaModo externoModo incorporadoConfiguração de Connect WorkersConversores e formatos de serializaçãoTutorialInstalação de conectoresCriar conectores com o ksqlDBMostrar conectoresDescrição dos conectoresDesmontagem de conectoresVerificação do conetor de origemInteragir diretamente com o Kafka Connect ClusterIntrospeção de esquemas geridosResumo
Tutorial: Monitorizar alterações na NetflixConfiguração do projetoTópicos de origemTipos de dadosTipos personalizadosColecçõesCriação de conjuntos de fontes de suprimentoCom cláusulaTrabalhar com fluxos e tabelasMostrar fluxos e tabelasDescrição de fluxos e tabelasAlteração de fluxos e tabelasEliminação de fluxos e tabelasConsultas básicasInserir valoresSelecções simples (consultas push transitórias)ProjeçãoFiltragemAchatamento/aninhamento de estruturas complexasExpressões condicionaisCoalesceIFNULLDeclarações de casosEscrever resultados de volta para o Kafka (consultas persistentes)Criar colecções derivadasJuntar tudoResumo
Configuração do projetoBootstrap de um ambiente a partir de um ficheiro SQLEnriquecimento de dadosJunta-te a nósJunções em janelaAgregaçõesNoções básicas de agregaçãoAgregações em WindowsVistas materializadasClientesConsultas pullEnrolarConsultas pushEnviar consultas via CurlFunções e operadoresOperadoresMostrar funçõesDescrição de funçõesCriar funções personalizadasRecursos adicionais para funções personalizadas do ksqlDBResumo
TestesTestar consultas ksqlDBTestar os fluxos do KafkaTestes comportamentaisAvaliação comparativaAvalia o cluster KafkaConsiderações finais sobre os testesMonitorizaçãoLista de controlo de monitorizaçãoExtraindo métricas JMXImplantaçãoContentores ksqlDBContentores de fluxos KafkaOrquestração de contentoresOperaçõesReiniciar uma aplicação Kafka StreamsLimitação da taxa de saída da tua aplicaçãoAtualização dos fluxos do KafkaAtualização do ksqlDBResumo
Gestão da configuraçãoPropriedades de configuraçãoConfigurações específicas do consumidor
Configurações de consultaConfigurações do servidorConfigurações de segurança

Content preview from Dominar o Kafka Streams e o ksqlDB

Capítulo 11. Processamento de fluxo intermediário e avançado com o ksqlDB

Este trabalho foi traduzido com recurso a IA. Agradecemos o teu feedback e comentários: translation-feedback@oreilly.com

No último capítulo, aprendemos como executar tarefas básicas de pré-processamento e transformação de dados usando o ksqlDB. As instruções SQL que discutimos eram sem estado e nos permitiram filtrar dados, achatar estruturas complexas ou aninhadas, usar projeção para remodelar dados e muito mais. Neste capítulo, aprofundaremos nossa compreensão do ksqlDB discutindo alguns casos de uso de enriquecimento e agregação de dados. A maioria das instruções que discutiremos são de estado (por exemplo, envolvem vários registos, o que é necessário com junções e agregações) e baseadas no tempo (por exemplo, operações em janelas), o que as torna mais complexas, mas também mais poderosas.

Alguns dos tópicos que abordaremos neste capítulo incluem:

Utilizar junções para combinar e enriquecer dados
Efetuar agregações
Executar consultas pull (ou seja, pesquisas pontuais) em visualizações materializadas usando a CLI
Trabalhar com funções ksqlDB incorporadas (funçõesscalar, aggregate e table)
Criar funções definidas pelo utilizador utilizando Java

Usaremos o tutorial de rastreamento de alterações do Netflix de no capítulo anterior para introduzir muitos desses conceitos (consulte "Tutorial: Monitorando alterações no Netflix" se precisar de uma recapitulação). No entanto, alguns tópicos, incluindo ...