book

Dominar o Kafka Streams e o ksqlDB

by Mitch Seymour

April 2025

Intermediate to advanced

434 pages

12h 1m

Portuguese (Portugal, Brazil)

O'Reilly Media, Inc.

Book available

Read now

Unlock full access

Quem deve ler este livroComo navegar neste livroCódigo fonteVersão do Kafka StreamsVersão do ksqlDBConvenções utilizadas neste livroUtilizar exemplos de códigoAprendizagem em linha da O'ReillyComo contactar-nosAgradecimentos
Modelo de comunicaçãoComo é que os fluxos são armazenados?Tópicos e partiçõesEventosCluster Kafka e corretoresGrupos de consumidoresInstalar o KafkaOlá, KafkaResumo
O ecossistema KafkaAntes do Kafka StreamsEntra em Kafka StreamsVisão geral das caraterísticasCaraterísticas operacionaisEscalabilidadeFiabilidadeManutençãoComparação com outros sistemasModelo de implantaçãoModelo de processamentoKappa ArquiteturaCasos de utilizaçãoTopologias de processadoresSub-TopologiasProcessamento em profundidadeVantagens da programação de fluxo de dadosTarefas e threads de fluxoDSL de alto nível versus API de baixo nível do processadorApresentando nosso tutorial: Olá, StreamsConfiguração do projetoCriar um novo projetoAdicionar a dependência de fluxos do KafkaDSLAPI do processadorFluxos e tabelasDualidade entre o fluxo e a mesaKStream, KTable, GlobalKTableResumo
Processamento sem estado versus processamento com estadoApresentando nosso tutorial: Processando um fluxo do TwitterConfiguração do projetoAdicionar um processador de origem KStreamSerialização/DeserializaçãoConstruir uma seringa personalizadaDefinição de classes de dadosImplementar um desserializador personalizadoImplementando um serializador personalizadoConstruir o Tweet SerdesFiltragem de dadosDados de ramificaçãoTraduzir TweetsFusão de fluxosEnriquecer os TweetsClasse de dados AvroAnálise de sentimentosSerialização de dados AvroAvro Serdes sem registoSeres Avro com reconhecimento de registo de esquemasAdicionar um processador SinkExecuta o códigoVerificação empíricaResumo
Vantagens do processamento com estadoPré-visualização dos Operadores com EstadoLojas do EstadoCaraterísticas comunsArmazenamentos persistentes versus armazenamentos na memóriaApresentamos-te o nosso tutorial: Tabela de classificação de jogos de vídeoConfiguração do projetoModelos de dadosAdicionando os processadores de origemKStreamTabela KTTabela GlobalKTableRegistar fluxos e tabelasJunta-te a nósJunta-te aos operadoresJunta tiposCo-ParticipaçãoMarceneiros de valorJunta KStream a KTable (junção de jogadores)Junta de KStream a GlobalKTable (junção de produtos)Agrupar registosAgrupamento de fluxosTabelas de agrupamentoAgregaçõesAgregação de fluxosTabelas de agregaçãoJuntar tudoConsultas interactivasLojas materializadasAcessando armazenamentos de estado somente leituraConsulta de armazenamentos de valores chave sem janelaConsultas locaisConsultas remotasResumo
Apresentando nosso tutorial: Aplicação de monitorização de pacientesConfiguração do projetoModelos de dadosSemântica do tempoExtractores de carimbos de data/horaExtractores de carimbo de data/hora incluídosExtractores de carimbo de data/hora personalizadosRegistar fluxos com um extrator de carimbo de data/horaWindows StreamsTipos de WindowsSelecionar um WindowsAgregação em janelasResultados da janela de emissãoPeríodo de carênciaSupressãoFiltragem e rechaveamento de tabelas de WindowsJunções em janelaFluxo de dados orientado pelo tempoAlertas SumidouroConsulta de armazenamentos de valores chave em janelasResumo
Layout de disco do armazenamento persistenteTolerância a falhasTópicos do registo de alteraçõesRéplicas em esperaReequilibra-te: Inimigo do Estado (Loja)Evitar a migração do EstadoAtribuição fixaAssociação estáticaReduzir o impacto dos reequilíbriosReequilíbrio cooperativo incrementalControlar o tamanho do estadoDeduplicação de gravações com caches de registosMonitorização da loja estatalAdicionar ouvintes de estadoAdicionar ouvintes de restauração de estadoMétricas incorporadasConsultas interactivasLojas de Estado PersonalizadasResumo

Quando usar a API do processadorApresenta o nosso tutorial: Serviço de gémeo digital IoTConfiguração do projetoModelos de dadosAdição de processadores de origemAdicionando processadores de fluxo sem estadoCriando processadores sem estadoCriando processadores com estadoFunções periódicas com pontuaçãoAceder aos metadados dos registosAdicionar processadores SinkConsultas interactivasJuntar tudoCombinação da API do processador com a DSLProcessadores e transformadoresJuntando tudo: RefactorResumo
O que é o ksqlDB?Quando utilizar o ksqlDBEvolução de um novo tipo de base de dadosIntegração de fluxos do KafkaConecta a integraçãoComo é que o ksqlDB se compara a uma base de dados SQL tradicional?SemelhançasDiferençasArquiteturaServidor ksqlDBClientes ksqlDBModos de implementaçãoModo interativoModo sem cabeçaTutorialInstalando o ksqlDBExecutar um servidor ksqlDBPré-criação de tópicosUsando a CLI do ksqlDBResumo
Visão geral do Kafka ConnectLigação externa versus incorporadaModo externoModo incorporadoConfiguração de Connect WorkersConversores e formatos de serializaçãoTutorialInstalação de conectoresCriar conectores com o ksqlDBMostrar conectoresDescrição dos conectoresDesmontagem de conectoresVerificação do conetor de origemInteragir diretamente com o Kafka Connect ClusterIntrospeção de esquemas geridosResumo
Tutorial: Monitorizar alterações na NetflixConfiguração do projetoTópicos de origemTipos de dadosTipos personalizadosColecçõesCriação de conjuntos de fontes de suprimentoCom cláusulaTrabalhar com fluxos e tabelasMostrar fluxos e tabelasDescrição de fluxos e tabelasAlteração de fluxos e tabelasEliminação de fluxos e tabelasConsultas básicasInserir valoresSelecções simples (consultas push transitórias)ProjeçãoFiltragemAchatamento/aninhamento de estruturas complexasExpressões condicionaisCoalesceIFNULLDeclarações de casosEscrever resultados de volta para o Kafka (consultas persistentes)Criar colecções derivadasJuntar tudoResumo
Configuração do projetoBootstrap de um ambiente a partir de um ficheiro SQLEnriquecimento de dadosJunta-te a nósJunções em janelaAgregaçõesNoções básicas de agregaçãoAgregações em WindowsVistas materializadasClientesConsultas pullEnrolarConsultas pushEnviar consultas via CurlFunções e operadoresOperadoresMostrar funçõesDescrição de funçõesCriar funções personalizadasRecursos adicionais para funções personalizadas do ksqlDBResumo
TestesTestar consultas ksqlDBTestar os fluxos do KafkaTestes comportamentaisAvaliação comparativaAvalia o cluster KafkaConsiderações finais sobre os testesMonitorizaçãoLista de controlo de monitorizaçãoExtraindo métricas JMXImplantaçãoContentores ksqlDBContentores de fluxos KafkaOrquestração de contentoresOperaçõesReiniciar uma aplicação Kafka StreamsLimitação da taxa de saída da tua aplicaçãoAtualização dos fluxos do KafkaAtualização do ksqlDBResumo
Gestão da configuraçãoPropriedades de configuraçãoConfigurações específicas do consumidor
Configurações de consultaConfigurações do servidorConfigurações de segurança

Content preview from Dominar o Kafka Streams e o ksqlDB

Prefácio

Os negócios são cada vez mais construídos em torno de eventos - os dados de atividade em tempo real do que está acontecendo em uma empresa - mas qual é a infraestrutura certa para aproveitar o poder dos eventos? Esta é uma questão em que tenho pensado desde 2009, quando iniciei o projeto Apache Kafka no LinkedIn. Em 2014, fundei a Confluent para lhe dar uma resposta definitiva. Para além de fornecer uma forma de armazenar e aceder a eventos discretos, uma plataforma de transmissão de eventos precisa de um mecanismo para se ligar a uma miríade de sistemas externos. Também requer gestão global de esquemas, métricas e monitorização. Mas talvez o mais importante de tudo seja o processamento de fluxo - computação contínua sobre fluxos intermináveis de dados - sem o qual uma plataforma de fluxo de eventos é simplesmente incompleta.

Agora, mais do que nunca, o processamento de fluxo desempenha um papel fundamental na forma como as empresas interagem com o mundo. Em 2011, Marc Andreessen escreveu um artigo intitulado "Porque é que o software está a comer o mundo". A ideia central é que qualquer processo que possa ser transferido para o software acabará por sê-lo. Marc acabou por ser presciente. O resultado mais óbvio é que o software penetrou em todos os sectores imagináveis.

Mas um resultado menos compreendido e mais importante é o facto de as empresas serem cada vez mais definidas em software. Por outras palavras, os principais processos que uma empresa executa - desde a forma ...