Construir una malla de datos basada en eventos

Prefacio

Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: [e-mail]

La malla de datos es un cambio fundamental en la forma en que pensamos, creamos, compartimos y utilizamos los datos. Promovemos los datos como ciudadanos de primera clase, curándolos y elaborándolos cuidadosamente en productos de datos, respaldados con el mismo nivel de cuidado y compromiso que cualquier otro producto empresarial. Los consumidores pueden descubrir y seleccionar los productos de datos que necesitan para sus propios casos de uso, confiando en el compromiso del productor del producto de datos para mantenerlo y apoyarlo. En el fondo, la malla de datos tiene tanto que ver con la reorganización tecnológica como con la renegociación de los contratos sociales, las responsabilidades y las expectativas.

Cuando escribí Building Event-Driven Microservices (O'Reilly) hice referencia (y definí un poco vagamente) una capa de comunicación de datos, muy similar, aunque no tan bien pensada, a la malla de datos. Los principios de la capa de comunicación de datos eran bastante sencillos: tratar los datos como ciudadanos de primera clase, hacerlos fiables y dignos de confianza, y producirlos a través de flujos de eventos para que puedas alimentar aplicaciones tanto operativas como analíticas.

La belleza de la malla de datos es que no es una revisión total a lo grande de todo lo que sabemos sobre los datos. De hecho, es realmente una afirmación de buenas prácticas, tanto sociales como técnicas, basadas en el duro trabajo colectivo y las experiencias de innumerables personas. Proporciona el marco necesario para debatir cómo crear, comunicar y utilizar los datos, actuando como lingua franca para el mundo de los datos.

Zhamak Dehghani ha hecho un trabajo fenomenal al acercar la malla de datos al mundo. Recuerdo que me impresionó su artículo inicial en el blog de Martin Fowler de 2019. Describió de forma muy elocuente los problemas a los que se enfrentaba mi equipo en ese mismo momento e identificó los principios que tendríamos que adoptar para trabajar hacia una solución. Su trabajo realmente influyó en mi forma de pensar sobre la necesidad de tener una capa de comunicación de datos bien definida para que compartir y utilizar datos sea fiable y fácil. La malla de datosde Dehghani es precisamente el marco socio-técnico que necesitamos para construir un mundo de datos mejor.

Los eventos y flujos de eventos desempeñan un papel fundamental en una malla de datos, ya que tus oportunidades de negocio sólo pueden resolverse tan rápido como tu fuente de datos más lenta. Los casos de uso analítico clásicos, como calcular un informe de ventas mensual, pueden satisfacerse con un producto de datos que se actualice sólo una vez al día. Pero muchos de tus casos de uso empresarial más importantes, como realizar una venta, calcular el inventario y garantizar un envío rápido, requieren datos en tiempo real. Una malla de datos basada en eventos proporciona las capacidades para potenciar casos de uso tanto operativos como analíticos, tanto en tiempo real como por lotes.

Adoptar una malla de datos tiene un valor real. Agiliza el descubrimiento, consumo, procesamiento y aplicación de datos en toda tu organización. Pero una de las mejores características de la malla de datos es que puedes empezar a aplicarla dondequiera que estés hoy. No es una propuesta de todo o nada. Puedes tomar las piezas, principios y conceptos que funcionan para mejorar tu situación, y dejar el resto hasta que estés preparado para adoptarlos a continuación.

Estoy bastante entusiasmado con la malla de datos. Nos proporciona un marco social y tecnológico basado en principios para construir nuestras propias mallas de datos, pero igual de importante es el lenguaje para hablar de los problemas de datos y resolverlos con todos nuestros colegas. Espero que disfrutes leyendo este libro tanto como yo escribiéndolo.

Convenciones utilizadas en este libro

En este libro se utilizan las siguientes convenciones tipográficas:

Cursiva

Indica nuevos términos, URL, direcciones de correo electrónico, nombres de archivo y extensiones de archivo.

Constant width

Se utiliza en los listados de programas, así como dentro de los párrafos para referirse a elementos del programa como nombres de variables o funciones, bases de datos, tipos de datos, variables de entorno, sentencias y palabras clave.

Consejo

Este elemento significa un consejo o sugerencia.

Nota

Este elemento significa una nota general.

Advertencia

Este elemento indica una advertencia o precaución.

Aprendizaje en línea O'Reilly

Nota

Durante más de 40 años, O'Reilly Media ha proporcionado formación tecnológica y empresarial, conocimientos y perspectivas para ayudar a las empresas a alcanzar el éxito.

Nuestra red única de expertos e innovadores comparten sus conocimientos y experiencia a través de libros, artículos y nuestra plataforma de aprendizaje online. La plataforma de aprendizaje en línea de O'Reilly te ofrece acceso bajo demanda a cursos de formación en directo, rutas de aprendizaje en profundidad, entornos de codificación interactivos y una amplia colección de textos y vídeos de O'Reilly y de más de 200 editoriales. Para más información, visita https://oreilly.com.

Cómo contactar con nosotros

Dirige tus comentarios y preguntas sobre este libro a la editorial:

• O'Reilly Media, Inc.
• 1005 Gravenstein Highway Norte
• Sebastopol, CA 95472
• 800-998-9938 (en Estados Unidos o Canadá)
• 707-829-0515 (internacional o local)
• 707-829-0104 (fax)

Tenemos una página web para este libro, donde se enumeran erratas, ejemplos y cualquier información adicional. Puedes acceder a esta página en https://oreil.ly/build-data-mesh.

Envía un correo electrónico a [e-mail] para comentar o hacer preguntas técnicas sobre este libro.

Para obtener noticias e información sobre nuestros libros y cursos, visita https://oreilly.com.

Encuéntranos en LinkedIn: https://linkedin.com/company/oreilly-media

Síguenos en Twitter: https://twitter.com/oreillymedia

Míranos en YouTube: https://youtube.com/oreillymedia

Agradecimientos

Hay muchas personas a las que me gustaría dar las gracias por apoyarme, revisar y aconsejarme mientras escribía este libro. Me gustaría dar las gracias a mis editoras de desarrollo, Nicole Tache y Melissa Potter, que me proporcionaron un gran apoyo y me ayudaron realmente a mantenerme centrada y responsable. También he tenido la suerte de contar con dos editores de producción estelares, Beth Kelly y Jonathon Owen. Realmente me ayudaron a dar forma coherente y sensata a un batiburrillo de TODOs, cifras completadas en su mayoría y frases sueltas. Gracias también a Stephanie English, que se encargó de la corrección de textos cuando pasamos del borrador a la producción.

Mi revisor y antiguo colega de Confluent, Hubert Daley, aportó ideas y comentarios iniciales que ayudaron a dar forma al resto del libro. Chris Ford, Jefe de Tecnología de Thoughtworks, me proporcionó comentarios críticos, ayudándome a identificar lo que funcionaba y lo que no. Pramod Sadalage, de Thoughtworks, líder de Data Mesh para Norteamérica, también me proporcionó una gran cantidad de críticas constructivas y apoyo. Gracias a cada uno de vosotros por dedicar vuestro tiempo a ayudarme a mejorar este libro.

Gracias a mis colegas de Confluent Ben Stopford, Andrew Sellers, Jack Vanlightly, Ian Robinson y Travis Hoffman, con quienes mantuve muchas discusiones sobre los méritos, los inconvenientes y la implementación de la malla de datos. Valoro enormemente sus opiniones, comentarios, críticas constructivas y útiles ideas.

Y por último, gracias a mi familia y amigos que me proporcionaron el apoyo emocional y el ánimo necesarios para seguir adelante.