book

Construir una malla de datos basada en eventos

by Adam Bellemare

September 2024

Intermediate to advanced

262 pages

8h 39m

Spanish

O'Reilly Media, Inc.

Book available

Read now

Unlock full access

Convenciones utilizadas en este libroAprendizaje en línea O'ReillyCómo contactar con nosotrosAgradecimientos
¿Qué es la malla de datos?Una malla de datos basada en sucesosUtilización de datos en el plano operativoEl monolito de datosLas dificultades de comunicar datos para cuestiones operativasEl Plano Analítico: Almacenes y lagos de datosEl impacto organizativo del esquema en la lecturaMalos datos: Los costes de la inacción¿Podemos unificar los flujos de trabajo analíticos y operativos?Repensar los datos con la Malla de DatosObjeciones comunes a una malla de datos basada en sucesosLos productores no pueden modelar datos para los casos de uso de todo el mundoHacer varias copias de los datos es maloLa coherencia final es demasiado difícil de gestionarResumen
Principio 1: Propiedad del dominioEl diseño basado en el dominio en pocas palabrasSeleccionar los datos a exponer de tu dominioPrincipio 2: Los datos como productoLos productos de datos proporcionan datos inmutables y con marca de tiempoLos productos de datos son multimodalesAcceder a un producto de datos mediante Push o PullLos tres tipos de alineación de los productos de datosProductos de datos basados en sucesos como entradas para sistemas operativosPrincipio 3: Gobernanza federadaEspecificar el lenguaje, el marco y la compatibilidad con la API de los productos de datosEstablecer los requisitos del ciclo de vida de los productos de datosEstablecer políticas de tratamiento de datos e InfosecIdentificación y normalización de polisemas entre dominiosFormalizar los requisitos de la plataforma de autoservicioPrincipio 4: Plataforma de autoservicioDescubrir productos de datos y dependenciasControles de gestión de productos de datosControles de acceso a los productos de datosRecursos informáticos y de almacenamiento para crear y utilizar productos de datosProporcionar autoservicio a través de SaaSResumen
Eventos, mensajes y registros¿Qué es un flujo de eventos? ¿Qué no es?Paso efímero de mensajesCola de esperaConsumir y utilizar productos de datos basados en sucesosEventos de estado y transferencia de estado con eventosMaterializar acontecimientosAgregar eventosLa arquitectura KappaLa arquitectura Lambda y por qué no funciona para la malla de datosApoyo a los requisitos de la arquitectura KappaSeleccionar un corredor de eventosResumen
Formar un equipo de gobierno federadoAplicación de las normasApoyo a los tipos de productos de datos multimodalesEsquemas de productos de datos de apoyoLenguajes de programación y marcos de apoyoNormas y requisitos de los metadatosGarantizar la compatibilidad e interoperabilidad de los productos de datos entre dominiosDefinir y utilizar entidades comunesPartición y codificación de flujos de eventosHora y husos horarios¿Cómo es una reunión de gobernanza?1. Identificar los problemas existentes2. Redacción de propuestas3. Revisión de las propuestas4. Ejecución de las propuestas5. Archivar propuestasPolíticas de acceso y seguridad de datosDesactivar el acceso a productos de datos por defectoConsidera la encriptación de extremo a extremoCifrado a nivel de campoPrivacidad de datos, derecho al olvido y criptodestrucciónLínea de productos de datosLinaje basado en la topologíaLinaje basado en registrosResumen
El modelo de madurez de la plataforma de autoservicioNivel 1: La Plataforma Mínima ViableEl Registro de EsquemasUn catálogo de metadatos extremadamente básicoConectoresRecapitulación del Nivel 1: ¿Cómo funciona?Nivel 2: La Plataforma AmpliadaCatálogo de metadatos completoEl Servicio de Gestión de Productos de Datos y la Interfaz de UsuarioIdentidades de servicio y de usuarioControles de acceso básicosProcesamiento de flujos para crear productos de datosRecapitulación del Nivel 2: ¿Cómo funciona?Nivel 3: La plataforma maduraAutenticación, identificación y gestión de accesosIntegración con los procesos de entrega de aplicaciones existentesAPI de gestión de productos de datos programáticosMonitoreo y AlertasProductos de Datos Multiregión y MulticloudRecapitulación del Nivel 3: ¿Cómo funciona?Resumen
Breve introducción a la serialización y deserialización¿Qué es un esquema?¿Cuáles son nuestras opciones de tecnología de esquemas?Los búferes de protocolo de Google, también conocidos como ProtobufApache AvroEsquema JSONEvolución del Esquema: Cambiar tus esquemas a lo largo del tiempoNegociar un cambio de esquema de rupturaPaso 1: Diseñar el nuevo modelo de datosPaso 2: Iterar con tus consumidores actuales y el equipo de gobierno federadoPaso 3. Crea un Calendario de Lanzamiento, un Plan de Migración de Datos y un Plan de CaducidadPaso 4. Ejecuta la LiberaciónEl papel del Registro de EsquemasBuenas prácticas para gestionar esquemas en tu código baseElegir una tecnología de esquemasResumen
Introducción a los tipos de eventosAmpliación de los Eventos de Estado y la Transferencia de Estado Transportada por EventosAcontecimientos actuales del EstadoAntes/Después de los Eventos EstatalesEventos DeltaContratación de eventos con Delta EventsPor qué los eventos Delta no funcionan para los productos de datos basados en eventosEventos de mediciónLos Eventos de Medición Suelen Formar Productos de Datos Agregados AlineadosLas fuentes de eventos de medición pueden tener pérdidasLos eventos de medición pueden alimentar aplicaciones sensibles al tiempoEventos híbridos-Estado con un poco de DeltaEventos de notificaciónResumen
Primeros pasos: Puesta en marcha con conectoresEscrituras dualesSondear la base de datos para crear productos de datosCaptura de datos de cambiosCaptura de datos de cambios utilizando una bandeja de salida transaccionalDesnormalización y eventificaciónEventificación en la bandeja de salida transaccionalEventificación en un servicio dedicado¿Qué debe entrar en el Evento? ¿Y qué debe quedarse fuera?Dimensiones que cambian lentamenteCómo conectar archivos de almacenamiento en la nube a un flujo de eventosResumen
La Analítica y la Arquitectura del MedallónConectar flujos de eventos a flujos de datos por lotes existentesA través de la Lente de la Malla de Datos: ¿Qué está pasando?A través de la Lente de la Malla de Datos: ¿Cómo lo Resolvemos?Equilibrar el tamaño de los archivos, los SLA y la latenciaPesadillas presupuestarias: Una historia de gastos excesivosAmpliación de la Plataforma de Autoservicio para Productos de Datos No TransmitidosResumen

Converger en la coherencia, un acontecimiento cada vezEstrategias para hacer frente a la coherencia eventualPrevenir fallos para evitar incoherenciasUtiliza productos de datos controlados por eventos en lugar de llamadas a la API del servidor de solicitud-respuestaExponer la coherencia eventual en la respuesta del servidorPlan de nuevos servicios y reprocesamiento de datosSincronizar Productos de Datos en Límites de TiempoEventos fuera de servicioResolver acontecimientos que llegan tardeResumen
Flujos de eventos para malla de datosIntegración con los sistemas existentesOperaciones, análisis y todo lo demásResumen

Content preview from Construir una malla de datos basada en eventos

Capítulo 4. Gobernanza federada

Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: translation-feedback@oreilly.com

Las arquitecturas de malla de datos están intrínsecamente descentralizadas, y se delega una gran responsabilidad en los propietarios de los productos de datos. Una malla de datos también se beneficia de cierto grado de centralización en forma de compatibilidad de productos de datos y herramientas comunes de autoservicio. Diferentes opiniones, preferencias, requisitos empresariales, limitaciones legales, tecnologías y deuda técnica son sólo algunos de los muchos factores que influyen en la forma de trabajar juntos.

La gobernanza federada nos permite separar las decisiones que deben permanecer en el ámbito local de las que deben tomarse globalmente, para todos los dominios. Citando a Dehghani, "En última instancia, las decisiones globales tienen un propósito: crear interoperabilidad y un efecto de red compuesto mediante el descubrimiento y la composición de productos de datos". Tenemos que averiguar, hacer cumplir y apoyar los bloques de construcción y modos de funcionamiento comunes para que la malla de datos funcione para todos.

Fundar un equipo de gobierno federado es uno de los primeros pasos para descubrir un terreno común en el que trabajar para encontrar soluciones mutuamente beneficiosas. Lo que hará exactamente tu equipo de gobierno variará en función de tus propias necesidades empresariales, pero hay varias tareas comunes ...