Datos de malla

Prefacio

Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: [e-mail]

La malla de datos es el empujón que nos pone en una nueva trayectoria en la forma de abordar los datos: cómo los imaginamos, cómo los capturamos y compartimos, y cómo creamos valor a partir de ellos, a escala y en el campo de la analítica y la IA. Esta nueva trayectoria nos aleja de la centralización de los datos y de su propiedad hacia un modelo descentralizado. Esta nueva trayectoria abarca la complejidad de nuestras organizaciones, su rápido cambio y su continuo crecimiento. Su objetivo es permitir a las organizaciones obtener valor de los datos a escala, a pesar del desorden y la complejidad organizativa.

Si echamos la vista atrás en la historia de nuestra industria, ya nos han dado codazos antes. El nacimiento de Unix y su filosofía de "Escribir programas que hagan una cosa y la hagan bien. Escribe programas que trabajen juntos..." fue quizás el aleteo de mariposa que estableció las condiciones para que , décadas después , abordáramos la complejidad en el corazón del software, mediante la arquitectura distribuida, el diseño orientado al servicio, las comunicaciones a través de API estándar y la organización de equipos de dominio autónomo. Espero que la malla de datos establezca las condiciones de un nuevo camino para abordar la complejidad en el corazón de los datos en el campo que más lo necesita, la analítica y la IA.

Formulé la tesis de la malla de datos en 2018, tras observar patrones comunes de fracaso a la hora de obtener valor de los datos en empresas grandes y tecnológicamente avanzadas que habían realizado inversiones sustanciales en sus tecnologías de datos. Observar sus luchas para ampliar las soluciones de gestión de datos y la organización para satisfacer sus ambiciosas aspiraciones de datos me llevó a cuestionar los supuestos de décadas de antigüedad sobre cómo obtenemos valor de los datos: los recopilamos, los almacenamos de forma centralizada, ponemos un equipo de datos a cargo de ellos, y luego los liberamos en un conjunto diverso de usuarios y casos de uso. Había que revisar estos supuestos.

Compartí las ideas que había detrás de la malla de datos en una conferencia de O'Reilly en Nueva York por esas mismas fechas. La titulé "Más allá del lago", ya que me esforzaba por resolver uno de los problemas más difíciles de la tecnología: "poner nombre a las cosas". A pesar de mi temor a recibir duras críticas, ya que estaba pronunciando palabras sacrílegas de cambiar fundamentalmente nuestra visión de los datos, el público acogió positivamente la charla. Los dolores de los usuarios de datos -analistas de datos o científicos- eran reales; todos luchaban por conseguir un acceso oportuno a datos fiables y de alta calidad. Los dolores de los ingenieros de datos eran compartidos, atrapados en el medio entre los proveedores de datos y los usuarios de datos, intentando sacar significado de los datos de flujos ascendentes poco fiables y ponerlos en una forma que otros puedan utilizar, y haciendo todo eso sin un contacto estrecho con la empresa. Los líderes de la audiencia asintieron que el rendimiento de sus soluciones de datos y análisis era mediocre. Salí de aquella conferencia sintiéndome más seguro de lo que podría venir más allá del lago. Unos meses más tarde, me perdí una reunión de una semana del consejo asesor de tecnología en China. A mi hija de tres años le había subido la fiebre la noche anterior al vuelo que salía de Estados Unidos. Llegué al avión, ocultando mi desesperación por separarme de mi hija enferma durante una semana, pero me derrumbé cuando el piloto anunció a la tripulación que aseguraran las puertas del avión. Bajé del avión. Ahora tenía una semana para esconderme y poner en palabras los pensamientos y la experiencia de lamalla de datos en un artículo titulado "Cómo pasar de un lago de datos monolítico a una malla de datos distribuida", amablemente presentado por Martin Fowler. El artículo fue un éxito y recibió una cantidad increíble de lectores, como si yo acabara de decir las palabras que otros pensaban en silencio. Tres años después, este libro profundiza en el por qué, el qué y el cómo realizar la Malla de Datos.

Por qué escribí este libro y por qué ahora

En el puñado de años transcurridos desde la creación de la malla de datos, ésta ha recibido un enorme apoyo de las empresas pioneras en su implantación. Ha animado a los vendedores a intentar adaptar sus productos para adecuarlos a las implementaciones de malla de datos. Ha creado una próspera comunidad de aprendizaje para compartir sus experiencias.

A pesar de este rápido movimiento, quizá esté escribiendo este libro un poco antes de lo que me hubiera gustado. Todavía nos encontramos en los primeros años de un enfoque fundamentalmente diferente a la hora de compartir y crear datos para casos de uso analítico y de aprendizaje automático (ML). Pero nuestra industria tiene la tendencia a filtrar nuevos conceptos y palabras de moda más allá del reconocimiento. De ahí que decidiera escribir este libro para crear una base común para las futuras evoluciones de las implementaciones de la malla de datos. Quería asegurarme de que, antes de dejarnos llevar por la construcción de nuevas soluciones técnicas, entendemos por qué necesitamos hacer un cambio, cuáles son los problemas que intentamos abordar y cómo intentamos hacerlo.

Este libro crea una base de los objetivos de la malla de datos, por qué deberíamos preocuparnos, sus primeros principios. Examinamos cómo aplicar los primeros principios para crear una arquitectura de alto nivel y te dejamos con herramientas para ejecutar su implantación y cambiar la organización y la cultura.

Quién debería leer este libro

Este libro está escrito para personas con un conjunto diverso de funciones y habilidades. La malla de datos es un cambio de paradigma, y necesita el esfuerzo colectivo de muchas funciones y disciplinas complementarias para hacerla realidad en cualquier organización, desde arquitectos, profesionales e ingenieros de infraestructuras hasta gestores de productos, líderes de datos y ejecutivos.

He aquí un rápido resumen de los personajes de los lectores y de lo que pueden sacar de este libro:

• Los usuarios de datos analíticos, como los científicos de datos y los analistas, deberían leer este libro para comprender qué les permite la malla de datos y cómo pueden formar parte de este movimiento como miembros activos de la malla, aportando a su vez sus conocimientos e inferencias a medida que se comparten nuevos productos de datos en la malla.
• Los proveedores de datos, como los equipos de aplicaciones o los ingenieros de datos, deberían leer este libro para comprender cómo la malla de datos integra los dos planos de los datos operativos y analíticos y las aplicaciones. Verán y cómo sus funciones se trasladan a equipos de dominio interfuncionales y qué tipo de arquitectura construirán para hacer posible la malla de datos.
• Los propietarios de productos de infraestructura, arquitectos e ingenieros deberían leer este libro para comprender el papel y el diseño de una plataforma de datos de autoservicio para crear un conjunto de servicios bien integrados que permitan compartir datos de forma descentralizada a escala y por equipos de dominio interfuncionales.
• Los equipos de gobierno de datos deben leer este libro para comprender la nueva estructura y enfoque para alcanzar los objetivos de gobierno de una forma que favorezca la propiedad independiente de los datos por parte de los dominios, elimine los cuellos de botella organizativos y se base en gran medida en la automatización y la computación. Este libro introduce un nuevo papel y una nueva forma para la gobernanza de los datos.
• Los líderes, gestores y ejecutivos de datos deberían leer este libro para comprender el cambio de paradigma que se avecina y aprender a formular una estrategia de datos basada en la malla de datos, ejecutar su transformación y cultivar su organización por el camino.

Este libro está escrito para personas con experiencia en datos y análisis tradicionales, y para personas que se han centrado más en la entrega de software y aplicaciones. La malla de datos cierra la brecha entre estos dos grupos.

Si vienes de un entorno tradicional de datos, quizás habiendo sido ingeniero de datos o analista de datos, te animo a que suspendas tus prejuicios del pasado. Muéstrate abierto a nuevas formas de resolver el problema de la gestión y el procesamiento analíticos de datos. Acepta la computación y la automatización como compañeras indispensables de los datos.

Si vienes de un entorno de desarrollo de aplicaciones, arquitectura de software o ingeniería de infraestructura de aplicaciones, lee este libro con empatía por los datos y la analítica. Considérate parte de la solución para compartir datos y obtener valor de los datos para mejorar tus aplicaciones. Imagina un nuevo futuro en el que el trabajo con datos y el desarrollo de aplicaciones sean dos piezas complementarias para que tus soluciones tengan éxito.

Cómo leer este libro

Te recomiendo encarecidamente que empieces por el Prólogo: Imagina la Malla de Datos. Este breve capítulo te ayuda a sentir y visualizar cómo es la malla de datos en acción. Demuestra el impacto de la malla de datos en el día a día. Muestra los principios de la malla de datos aplicados a través de una historia ficticia de una empresa de streaming digital: Daff, Inc.

El resto del libro está estructurado en cinco partes:

Parte I, "¿Qué es la malla de datos?"

Esta parte presenta cada uno de los primeros principios de la malla de datos y describe su impacto transformador. Espero que todo el mundo lea esta sección del libro, ya que su contenido servirá de base para todos los debates futuros sobre la malla de datos.

Parte II, "¿Por qué malla de datos?"

Si no estás seguro de que la malla de datos sea la opción adecuada para ti, o si quieres entender qué problemas resuelve y cómo los resuelve, o simplemente influir en los demás, lee esta parte del libro. Compara la malla de datos con el pasado y analiza por qué lo que nos ha traído hasta aquí no nos llevará al futuro. Animo a todos los lectores a que repasen este contenido.

Parte III, "Cómo diseñar la arquitectura de malla de datos"

Esta parte es para todos los tecnólogos, líderes o profesionales. Los capítulos de esta parte del libro se centran en la arquitectura de alto nivel de los componentes de malla de datos. Te ayudarán a diseñar tu arquitectura de malla de datos, así como a evaluar las tecnologías disponibles para alinearlas con la malla de datos.

Parte IV, "Cómo diseñar la arquitectura del producto de datos"

Esta parte se adentra en el diseño detallado de un concepto básico en la malla de datos, denominado producto de datos. Pretende simplificar conceptos complejos sin comprometer los detalles necesarios. Debe ser accesible para todas las funciones, directivos, líderes o profesionales. Sin embargo, las personas que vayan a ocupar una posición de liderazgo técnico en la aplicación de diversos aspectos de la malla de datos obtendrán el máximo provecho de esta parte del libro.

Parte V, "Cómo empezar"

Esta parte es una guía para las personas que desempeñan funciones que influyen en la ejecución general de la estrategia de datos y el cambio organizativo. Ofrece consejos prácticos sobre cómo enfocar una ejecución evolutiva de una transformación de la malla de datos, y cómo tomar decisiones de diseño organizativo en torno a la estructura del equipo, los incentivos, la cultura, etc.

Convenciones utilizadas en este libro

En este libro se utilizan las siguientes convenciones tipográficas:

Cursiva

Indica nuevos términos, URL, direcciones de correo electrónico, nombres de archivo y extensiones de archivo.

Negrita

Se utiliza para los nombres de dominio de datos y de producto de datos.

Constant width

Se utiliza en los listados de programas, así como dentro de los párrafos para referirse a elementos del programa como nombres de variables o funciones, bases de datos, tipos de datos, variables de entorno, sentencias y palabras clave.

Constant width bold

Muestra comandos u otros textos que deben ser tecleados literalmente por el usuario.

Constant width italic

Muestra el texto que debe sustituirse por valores proporcionados por el usuario o por valores determinados por el contexto.

Nota

Este elemento significa una nota general.

Advertencia

Este elemento indica una advertencia o precaución.

Aprendizaje en línea O'Reilly

Durante casi 40 años, O'Reilly ha proporcionado formación tecnológica y empresarial, conocimientos y perspectivas para ayudar a las empresas a alcanzar el éxito.

Nuestra red única de expertos e innovadores comparten sus conocimientos y experiencia a través de libros, artículos, conferencias y nuestra plataforma de aprendizaje online. La plataforma de aprendizaje en línea de O'Reilly te ofrece acceso bajo demanda a cursos de formación en directo, rutas de aprendizaje en profundidad, entornos de codificación interactivos y una amplia colección de textos y vídeos de O'Reilly y de más de 200 editoriales. Para más información, visita http://oreilly.com.

Cómo contactar con nosotros

Dirige tus comentarios y preguntas sobre este libro a la editorial:

• O'Reilly Media, Inc.

• 1005 Gravenstein Highway Norte

• Sebastopol, CA 95472

• 800-998-9938 (en Estados Unidos o Canadá)

• 707-829-0515 (internacional o local)

• 707-829-0104 (fax)

Tenemos una página web para este libro, donde se enumeran erratas, ejemplos y cualquier información adicional. Puedes acceder a esta página en https://oreil.ly/data-mesh.

Envía un correo electrónico a [e-mail] para comentar o hacer preguntas técnicas sobre este libro.

Para más información sobre nuestros libros, cursos, conferencias y noticias, consulta nuestro sitio web en https://www.oreilly.com.

Encuéntranos en Facebook: https://facebook.com/oreilly

Síguenos en Twitter: https://twitter.com/oreillymedia

Míranos en YouTube: https://youtube.com/oreillymedia

Agradecimientos

Quiero dedicar este libro a mi pareja, Adrian Paoletti, y a mi hija, Arianna Paoletti. Sin su paciencia y su amor y apoyo desinteresados, este libro no existiría. Nos hemos perdido muchas vacaciones y fines de semana juntos durante el último año y medio para que pudiera terminar este libro. Siempre les estaré agradecida por su comprensión y amor. También me gustaría dedicar este libro a mi madre, Nayer Dadpay, y a mi hermana, Parisa Dehghani, cuyo amor y palabras alentadoras me han empujado suavemente a través del proceso de completar este libro. Os quiero a todos.

Dicen que escribir un libro es una tarea solitaria, pero no en mi caso. Me gustaría dar las gracias a mis primeros y atentos revisores que me acompañaron en el viaje de la escritura y compartieron generosamente su tiempo y sus comentarios. Sin ningún orden en particular, Andy Petrella, gracias por compartir tu perspectiva de científico de datos con humildad y humor. Chris Ford, gracias por tus reflexivos comentarios sobre arquitectura, que a menudo amplían mi visión. Mammand Zadeh, gracias por aportar la voz de un líder de infraestructura de datos experimentado pero pragmático y por ayudarme siempre a conectar los puntos de la idea a la realidad. Martin Fowler, gracias por iluminar el panorama general, mostrarme las lagunas y ayudarme a aclarar conceptos complejos. Danilo Sato y Sam Ramji, gracias por vuestra orientación, sabiduría y tiempo.

La gente de Thoughtworks ha participado en la creación de muchos movimientos que han marcado una época en el sector tecnológico: microservicios, entrega continua, agilidad, y la lista continúa. Una de las razones es que el liderazgo de Thoughtworks crea las condiciones adecuadas para la creatividad distributiva en la búsqueda de la excelencia del software. Sin ningún orden en particular, Rebecca Parsons y Chris Murphy, gracias por apoyarme a la hora de escribir este libro. Me gustaría dar las gracias a mis colegas pasados y presentes de Thoughtworks, sin ningún orden en particular: Gagan Madan, Zichuan Xiong, Neal Ford, Samia Rahman, Sina Jahangirizadeh, Ken Collier, Srikar Ayilavarapu, Sheroy Marker, Danilo Sato, Emily Gorcenski, David Colls, Erik Nagler y muchos otros.

Me gustaría dar las gracias a todas las personas de O'Reilly que han hecho posible la publicación de este libro. Entre la maravillosa y apasionada familia de O'Reilly, me gustaría destacar a Gary O'Brien. Gary, gracias por tu apoyo continuo y por todos los fines de semana que te has tomado lejos de la familia para revisar mi contenido y responder a mis preguntas, animándome en los momentos bajos y en las dudas y consiguiendo que volviera al buen camino. Melissa Duffield, gracias por poner en marcha este libro, ayudarme a dar el primer paso y apoyarme con tu innegable empatía humana.

Por último, me gustaría dar las gracias a mi maestro y mentor durante el proceso de escritura, Martin Fowler. Martin, gracias por guiarme en cada paso del camino.