book

Dominar o Kafka Streams e o ksqlDB

by Mitch Seymour

April 2025

Intermediate to advanced

434 pages

12h 1m

Portuguese (Portugal, Brazil)

O'Reilly Media, Inc.

Book available

Read now

Unlock full access

Quem deve ler este livroComo navegar neste livroCódigo fonteVersão do Kafka StreamsVersão do ksqlDBConvenções utilizadas neste livroUtilizar exemplos de códigoAprendizagem em linha da O'ReillyComo contactar-nosAgradecimentos
Modelo de comunicaçãoComo é que os fluxos são armazenados?Tópicos e partiçõesEventosCluster Kafka e corretoresGrupos de consumidoresInstalar o KafkaOlá, KafkaResumo
O ecossistema KafkaAntes do Kafka StreamsEntra em Kafka StreamsVisão geral das caraterísticasCaraterísticas operacionaisEscalabilidadeFiabilidadeManutençãoComparação com outros sistemasModelo de implantaçãoModelo de processamentoKappa ArquiteturaCasos de utilizaçãoTopologias de processadoresSub-TopologiasProcessamento em profundidadeVantagens da programação de fluxo de dadosTarefas e threads de fluxoDSL de alto nível versus API de baixo nível do processadorApresentando nosso tutorial: Olá, StreamsConfiguração do projetoCriar um novo projetoAdicionar a dependência de fluxos do KafkaDSLAPI do processadorFluxos e tabelasDualidade entre o fluxo e a mesaKStream, KTable, GlobalKTableResumo
Processamento sem estado versus processamento com estadoApresentando nosso tutorial: Processando um fluxo do TwitterConfiguração do projetoAdicionar um processador de origem KStreamSerialização/DeserializaçãoConstruir uma seringa personalizadaDefinição de classes de dadosImplementar um desserializador personalizadoImplementando um serializador personalizadoConstruir o Tweet SerdesFiltragem de dadosDados de ramificaçãoTraduzir TweetsFusão de fluxosEnriquecer os TweetsClasse de dados AvroAnálise de sentimentosSerialização de dados AvroAvro Serdes sem registoSeres Avro com reconhecimento de registo de esquemasAdicionar um processador SinkExecuta o códigoVerificação empíricaResumo
Vantagens do processamento com estadoPré-visualização dos Operadores com EstadoLojas do EstadoCaraterísticas comunsArmazenamentos persistentes versus armazenamentos na memóriaApresentamos-te o nosso tutorial: Tabela de classificação de jogos de vídeoConfiguração do projetoModelos de dadosAdicionando os processadores de origemKStreamTabela KTTabela GlobalKTableRegistar fluxos e tabelasJunta-te a nósJunta-te aos operadoresJunta tiposCo-ParticipaçãoMarceneiros de valorJunta KStream a KTable (junção de jogadores)Junta de KStream a GlobalKTable (junção de produtos)Agrupar registosAgrupamento de fluxosTabelas de agrupamentoAgregaçõesAgregação de fluxosTabelas de agregaçãoJuntar tudoConsultas interactivasLojas materializadasAcessando armazenamentos de estado somente leituraConsulta de armazenamentos de valores chave sem janelaConsultas locaisConsultas remotasResumo
Apresentando nosso tutorial: Aplicação de monitorização de pacientesConfiguração do projetoModelos de dadosSemântica do tempoExtractores de carimbos de data/horaExtractores de carimbo de data/hora incluídosExtractores de carimbo de data/hora personalizadosRegistar fluxos com um extrator de carimbo de data/horaWindows StreamsTipos de WindowsSelecionar um WindowsAgregação em janelasResultados da janela de emissãoPeríodo de carênciaSupressãoFiltragem e rechaveamento de tabelas de WindowsJunções em janelaFluxo de dados orientado pelo tempoAlertas SumidouroConsulta de armazenamentos de valores chave em janelasResumo
Layout de disco do armazenamento persistenteTolerância a falhasTópicos do registo de alteraçõesRéplicas em esperaReequilibra-te: Inimigo do Estado (Loja)Evitar a migração do EstadoAtribuição fixaAssociação estáticaReduzir o impacto dos reequilíbriosReequilíbrio cooperativo incrementalControlar o tamanho do estadoDeduplicação de gravações com caches de registosMonitorização da loja estatalAdicionar ouvintes de estadoAdicionar ouvintes de restauração de estadoMétricas incorporadasConsultas interactivasLojas de Estado PersonalizadasResumo

Quando usar a API do processadorApresenta o nosso tutorial: Serviço de gémeo digital IoTConfiguração do projetoModelos de dadosAdição de processadores de origemAdicionando processadores de fluxo sem estadoCriando processadores sem estadoCriando processadores com estadoFunções periódicas com pontuaçãoAceder aos metadados dos registosAdicionar processadores SinkConsultas interactivasJuntar tudoCombinação da API do processador com a DSLProcessadores e transformadoresJuntando tudo: RefactorResumo
O que é o ksqlDB?Quando utilizar o ksqlDBEvolução de um novo tipo de base de dadosIntegração de fluxos do KafkaConecta a integraçãoComo é que o ksqlDB se compara a uma base de dados SQL tradicional?SemelhançasDiferençasArquiteturaServidor ksqlDBClientes ksqlDBModos de implementaçãoModo interativoModo sem cabeçaTutorialInstalando o ksqlDBExecutar um servidor ksqlDBPré-criação de tópicosUsando a CLI do ksqlDBResumo
Visão geral do Kafka ConnectLigação externa versus incorporadaModo externoModo incorporadoConfiguração de Connect WorkersConversores e formatos de serializaçãoTutorialInstalação de conectoresCriar conectores com o ksqlDBMostrar conectoresDescrição dos conectoresDesmontagem de conectoresVerificação do conetor de origemInteragir diretamente com o Kafka Connect ClusterIntrospeção de esquemas geridosResumo
Tutorial: Monitorizar alterações na NetflixConfiguração do projetoTópicos de origemTipos de dadosTipos personalizadosColecçõesCriação de conjuntos de fontes de suprimentoCom cláusulaTrabalhar com fluxos e tabelasMostrar fluxos e tabelasDescrição de fluxos e tabelasAlteração de fluxos e tabelasEliminação de fluxos e tabelasConsultas básicasInserir valoresSelecções simples (consultas push transitórias)ProjeçãoFiltragemAchatamento/aninhamento de estruturas complexasExpressões condicionaisCoalesceIFNULLDeclarações de casosEscrever resultados de volta para o Kafka (consultas persistentes)Criar colecções derivadasJuntar tudoResumo
Configuração do projetoBootstrap de um ambiente a partir de um ficheiro SQLEnriquecimento de dadosJunta-te a nósJunções em janelaAgregaçõesNoções básicas de agregaçãoAgregações em WindowsVistas materializadasClientesConsultas pullEnrolarConsultas pushEnviar consultas via CurlFunções e operadoresOperadoresMostrar funçõesDescrição de funçõesCriar funções personalizadasRecursos adicionais para funções personalizadas do ksqlDBResumo
TestesTestar consultas ksqlDBTestar os fluxos do KafkaTestes comportamentaisAvaliação comparativaAvalia o cluster KafkaConsiderações finais sobre os testesMonitorizaçãoLista de controlo de monitorizaçãoExtraindo métricas JMXImplantaçãoContentores ksqlDBContentores de fluxos KafkaOrquestração de contentoresOperaçõesReiniciar uma aplicação Kafka StreamsLimitação da taxa de saída da tua aplicaçãoAtualização dos fluxos do KafkaAtualização do ksqlDBResumo
Gestão da configuraçãoPropriedades de configuraçãoConfigurações específicas do consumidor
Configurações de consultaConfigurações do servidorConfigurações de segurança

Content preview from Dominar o Kafka Streams e o ksqlDB

Apêndice B. Configuração do ksqlDB

O ksqlDB aceita a maioria das configurações de Kafka Streams e Kafka Client (i.e., produtor e consumidor). O padrão recomendado é prefixar todas as configurações de Kafka Streams e Kafka Client com ksql.streams. Por exemplo, se pretenderes configurar uma cache de registos utilizando o parâmetro cache.max.bytes.buffering em Kafka Streams, deves definir o parâmetro ksql.streams.cache.max.bytes.buffering no teu ficheiro server.properties. Além disso, se pretenderes configurar a configuração auto.offset.reset do Kafka Consumer, este também seria prefixado da mesma forma e tornar-se-ia ksql.streams.auto.offset.reset. Tecnicamente, o prefixo é opcional, mas vem como uma recomendação dos criadores do ksqlDB (Confluent).

Além das configurações padrão do Kafka Streams e do Kafka Client, o ksqlDB também permite especificar uma configuração do Kafka Connect se estiveres a utilizar as funcionalidades de integração de dados do ksqlDB (por exemplo, sempre que estiveres a executar uma instrução CREATE {SOURCE|SINK} CONNECTOR ). Já discutimos isso em "Configurando Connect Workers", portanto, consulte essa seção para obter mais detalhes.

Finalmente, existem várias configurações que são específicas do ksqlDB. Nós agrupamos algumas das configurações mais importantes em duas categorias: configurações de consulta e configurações de servidor. Esta página deve ser usada como um ponto de partida para configurar o ksqlDB. Por favor, consulta a documentação oficial para ...