Referencia de bolsillo sobre canalizaciones de datos

Prefacio

Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: [e-mail]

Las canalizaciones de datos son la base del éxito en el análisis de datos y el aprendizaje automático. Mover los datos desde numerosas y diversas fuentes y procesarlos para proporcionarles contexto es la diferencia entre tener datos y obtener valor de ellos.

He trabajado como analista de datos, ingeniero de datos y líder en el campo del análisis de datos durante más de 10 años. En ese tiempo, he visto un rápido cambio y crecimiento en el campo. La aparición de la infraestructura en la nube, y de los almacenes de datos en la nube en particular, ha creado la oportunidad de replantearse la forma en que se diseñan e implementan los conductos de datos.

Este libro describe lo que creo que son los fundamentos y las buenas prácticas de la construcción de canalizaciones de datos en la era moderna. Baso mis opiniones y observaciones en mi propia experiencia, así como en las de los líderes del sector que conozco y sigo.

Mi objetivo es que este libro sirva tanto de modelo como de referencia. Aunque tus necesidades son específicas de tu organización y de los problemas que te has propuesto resolver, yo he tenido éxito muchas veces con variaciones de estos fundamentos. Espero que te resulte un recurso valioso en tu viaje hacia la construcción y el mantenimiento de canalizaciones de datos que impulsen tu organización de datos.

A quién va dirigido este libro

El público principal de este libro son los ingenieros de datos actuales y aspirantes, así como los miembros de equipos analíticos que quieran entender qué son las canalizaciones de datos y cómo se implementan. Entre sus cargos se incluyen ingenieros de datos, jefes técnicos, ingenieros de almacenes de datos, ingenieros analíticos, ingenieros de inteligencia empresarial y líderes analíticos de nivel director/VP.

Asumo que tienes una comprensión básica de los conceptos de almacenamiento de datos. Para poner en práctica los ejemplos tratados, debes sentirte cómodo con las bases de datos SQL, las API REST y JSON. Debes dominar un lenguaje de programación, como Python. También es ideal tener conocimientos básicos de la línea de comandos de Linux y de al menos una plataforma de computación en nube.

Todos los ejemplos de código están escritos en Python y SQL y utilizan muchas bibliotecas de código abierto. Utilizo Amazon Web Services (AWS) para demostrar las técnicas descritas en el libro, y los servicios de AWS se utilizan en muchos de los ejemplos de código. Cuando es posible, señalo servicios similares en otros grandes proveedores de nubes, como Microsoft Azure y Google Cloud Platform (GCP). Todos los ejemplos de código pueden modificarse para el proveedor de la nube de tu elección, así como para su uso en las instalaciones.

Convenciones utilizadas en este libro

En este libro se utilizan las siguientes convenciones tipográficas:

Cursiva

Indica nuevos términos, URL, direcciones de correo electrónico, nombres de archivo y extensiones de archivo.

Constant width

Se utiliza en los listados de programas, así como dentro de los párrafos para referirse a elementos del programa como nombres de variables o funciones, bases de datos, tipos de datos, variables de entorno, sentencias y palabras clave.

Constant width bold

Muestra comandos u otros textos que deben ser tecleados literalmente por el usuario.

Constant width italic

Muestra el texto que debe sustituirse por valores proporcionados por el usuario o por valores determinados por el contexto.

Utilizar ejemplos de código

El material complementario (ejemplos de código, ejercicios, etc.) se puede descargar en https://oreil.ly/datapipelinescode.

Si tienes una pregunta técnica o un problema al utilizar los ejemplos de código, envía un correo electrónico a [e-mail].

Este libro está aquí para ayudarte a hacer tu trabajo. En general, si se ofrece código de ejemplo con este libro, puedes utilizarlo en tus programas y documentación. No es necesario que te pongas en contacto con nosotros para pedirnos permiso, a menos que estés reproduciendo una parte importante del código. Por ejemplo, escribir un programa que utilice varios trozos de código de este libro no requiere permiso. Vender o distribuir ejemplos de libros de O'Reilly sí requiere permiso. Responder a una pregunta citando este libro y el código de ejemplo no requiere permiso. Incorporar una cantidad significativa de código de ejemplo de este libro en la documentación de tu producto sí requiere permiso.

Agradecemos la atribución, pero en general no la exigimos. Una atribución suele incluir el título, el autor, la editorial y el ISBN. Por ejemplo "Data Pipelines Pocket Reference por James Densmore (O'Reilly). Copyright 2021 James Densmore, 978-1-492-08783-0".

Si crees que el uso que haces de los ejemplos de código no se ajusta al uso legítimo o al permiso concedido anteriormente, no dudes en ponerte en contacto con nosotros: [e-mail].

Aprendizaje en línea O'Reilly

Nota

Durante más de 40 años, O'Reilly Media ha proporcionado formación, conocimientos y perspectivas sobre tecnología y negocios para ayudar a las empresas a alcanzar el éxito.

Nuestra red única de expertos e innovadores comparten sus conocimientos y experiencia a través de libros, artículos y nuestra plataforma de aprendizaje online. La plataforma de aprendizaje en línea de O'Reilly te ofrece acceso bajo demanda a cursos de formación en directo, rutas de aprendizaje en profundidad, entornos de codificación interactivos y una amplia colección de textos y vídeos de O'Reilly y de más de 200 editoriales. Para más información, visita http://oreilly.com.

Cómo contactar con nosotros

Dirige tus comentarios y preguntas sobre este libro a la editorial:

• O'Reilly Media, Inc.
• 1005 Gravenstein Highway Norte
• Sebastopol, CA 95472
• 800-998-9938 (en Estados Unidos o Canadá)
• 707-829-0515 (internacional o local)
• 707-829-0104 (fax)

Tenemos una página web para este libro, donde se enumeran erratas, ejemplos y cualquier información adicional. Puedes acceder a esta página en https://oreil.ly/data-pipelines-pocket-ref.

Envía un correo electrónico a [e-mail] para comentar o hacer preguntas técnicas sobre este libro.

Para noticias e información sobre nuestros libros y cursos, visita http://oreilly.com.

Encuéntranos en Facebook: http://facebook.com/oreilly

Síguenos en Twitter: http://twitter.com/oreillymedia

Míranos en YouTube: http://www.youtube.com/oreillymedia

Agradecimientos

Gracias a todas las personas de O'Reilly que han contribuido a hacer posible este libro, especialmente a Jessica Haberman y Corbin Collins. Los inestimables comentarios de tres increíbles revisores técnicos, Joy Payton, Gordon Wong y Scott Haines, han permitido introducir mejoras críticas en todo el libro. Por último, gracias a mi esposa Amanda por sus ánimos desde el momento en que se propuso este libro, así como a mi perro Izzy por sentarse a mi lado durante incontables horas de escritura.