book

Conexión Kafka

by Mickael Maison, Kate Stanley

September 2024

Intermediate to advanced

402 pages

11h 38m

Spanish

O'Reilly Media, Inc.

Book available

Read now

Unlock full access

Quién debería leer este libroVersiones de KafkaNavegar por este libroConvenciones utilizadas en este libroAprendizaje en línea O'ReillyCómo contactar con nosotrosAgradecimientos
Características de Kafka ConnectArquitectura enchufableEscalabilidad y fiabilidadDefinición declarativa de tuberíasParte de Apache KafkaCasos prácticosCapturar cambios en la base de datosDuplicación de clusters KafkaConstruir lagos de datosAgregar registrosModernizar los sistemas heredadosAlternativas a Kafka ConnectResumen
Una Plataforma Distribuida de Streaming de EventosCódigo abiertoDistribuidoRetransmisión de eventosPlataformaConceptos de KafkaPublicar-SuscribirCorredores y RegistrosTemas y ParticionesReplicaciónRetención y compactaciónKRaft y ZooKeeperInteractuar con KafkaProductoresConsumidoresFlujos KafkaPrimeros pasos con KafkaIniciar KafkaEnvío y recepción de registrosEjecutar una aplicación Kafka StreamsResumen
Tiempo de ejecución de Kafka ConnectEjecutar Kafka ConnectAPI REST de Kafka ConnectInstalar plug-insModos de ImplementaciónConectores fuente y sumideroConectores y tareasConfigurar conectoresConectores en funcionamientoConvertidoresFormato y esquemas de datosConfigurar conversoresUtilizar conversoresTransformaciones y predicadosCasos prácticos de transformaciónPredicadosConfigurar transformaciones y predicadosUtilizar transformaciones y predicadosResumen
Elegir un conectorDirección de la tuberíaLicencias y asistenciaCaracterísticas del conectorDefinición de modelos de datosTransformación de datosMapeo de datos entre sistemasFormatear datosFormatos de datosEsquemasExplorar las funciones internas de Kafka ConnectTemas internosAfiliación al GrupoProtocolos de reequilibrioGestión de fallos en Kafka ConnectFallo del trabajadorFallo de conector/tareaFallo de Kafka/Sistemas externosColas de Letras MuertasComprender la semántica del procesamientoConectores de fregaderoConectores de origenResumen
Conector Confluent S3 SinkConfigurar el ConectorSemántica Exactamente Una VezEjecutar el ConectorConfluent Conector de fuentes JDBCConfigurar el ConectorEjecutar el ConectorConector fuente MySQL de DebeziumConfigurar el ConectorFormatos de los eventosEjecutar el ConectorResumen
Introducción a la duplicaciónExplorar los casos de uso de la duplicaciónEl reflejo en la prácticaIntroducción a MirrorMakerConceptos comunesModos de ImplementaciónConectores MirrorMakerConectorFuenteEspejoMirrorCheckpointConnectorMirrorHeartbeatConnectorEjecutar MirrorMakerEjemplo de recuperación en caso de catástrofeEjemplo de georreplicaciónResumen

Preparar el entorno de Kafka ConnectConstruir un entorno Kafka ConnectInstalar plug-insRedes y permisosPlug-ins para trabajadoresProveedores de configuraciónExtensiones RESTPolíticas de anulación de la configuración del cliente del conectorDimensionar y planificar la capacidadComprender la utilización de los recursos de Kafka Connect¿Cuántos trabajadores y tareas?Funcionamiento de clusters de Kafka ConnectAñadir trabajadoresDesplazamiento de trabajadoresActualizar y aplicar el mantenimiento a los trabajadoresReiniciar tareas y conectores fallidosRestablecer desviaciones de conectoresAdministrar Kafka Connect utilizando la API RESTCrear y eliminar un conectorConfiguración de Conectores y TareasControlar el ciclo de vida de los conectoresListado de compensaciones de conectoresProblemas de depuraciónResumen
Configurar el tiempo de ejecuciónConfiguraciones para producciónConfiguraciones de ajuste finoConfigurar conectoresConfiguraciones de temasAnulaciones de clienteConfiguraciones para Exactamente una vezConfiguraciones para el tratamiento de erroresConfiguración de clústeres de Kafka Connect para la seguridadAsegurar la conexión a KafkaConfigurar los permisosAsegurar la API RESTResumen
Registros de monitoreoConfiguración del registroComprender los Registros de InicioAnalizar registrosMétricas de monitoreoInformadores de métricasAnalizar las métricasExplorar las métricasMétricas claveMétricas de tiempo de ejecución de Kafka ConnectOtras métricas del sistemaResumen
Introducción a KubernetesTecnologías de virtualizaciónFundamentos de KubernetesEjecutar Kafka Connect en KubernetesImagen del contenedorImplementación de trabajadoresRedes y monitoreoConfiguraciónUso de un operador de Kubernetes para implementar Kafka ConnectIntroducción a los Operadores de KubernetesOperadores Kubernetes para Kafka ConnectStrimziConseguir un entorno KubernetesPoner en marcha el OperadorKafka Connect CRDsImplementación de un clúster y conectores de Kafka ConnectMirrorMaker CRDResumen
Conceptos comunes y APIConstruir un conector personalizadoLa API del ConectorConfiguracionesLa API de tareasRegistros de Kafka ConnectLa API ConnectorContextImplementar conectores de origenLa API de SourceTaskFuente RegistrosLas API SourceConnectorContext y SourceTaskContextSoporte Exactamente Una VezImplementar conectores de sumideroLa API SinkTaskDiscos SinkLas API SinkConnectorContext y SinkTaskContextResumen
Implementación de plug-ins de conectoresLa API de transformaciónLa API de predicadosLas API Convertidor y CabeceraConvertidorImplementar plug-ins de trabajadorLa API ConfigProviderLa API ConnectorClientConfigOverridePolicyLas API de ConnectRestExtensionResumen

Overview

Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: translation-feedback@oreilly.com

Utilizada por más del 80% de las empresas de Fortune 100, Apache Kafka se ha convertido en la plataforma de streaming de eventos de facto. Kafka Connect es un componente clave de Kafka que te permite hacer fluir datos entre tus sistemas existentes y Kafka para procesarlos en tiempo real.

Con esta guía práctica, los autores Mickael Maison y Kate Stanley muestran a ingenieros de datos, ingenieros de fiabilidad de sitios y desarrolladores de aplicaciones cómo construir canalizaciones de datos entre clusters de Kafka y una variedad de fuentes y sumideros de datos. Kafka Connect te permite adoptar rápidamente Kafka aprovechando los datos existentes y posibilitando muchos casos de uso avanzados. No importa dónde te encuentres en tu viaje por el streaming de eventos, Kafka Connect es la herramienta ideal para construir una canalización de datos moderna.

Aprende las capacidades, conceptos principales y terminología de Kafka Connect
Diseña canalizaciones de flujo de datos y eventos que utilicen Kafka Connect
Configurar y operar entornos Kafka Connect a escala
Despliega clusters de Kafka Connect seguros y de alta disponibilidad
Construye conectores de origen y destino y transformadores y convertidores de mensaje único