Implantar MLOps en la empresa

Prefacio

Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: [e-mail]

Como veteranos de MLOps, a menudo hemos visto el siguiente escenario en empresas que están creando sus prácticas de ciencia de datos.

Tradicionalmente, cuando las empresas creaban su práctica de ciencia de datos, empezaban construyendo un modelo en el laboratorio, con un pequeño equipo, a menudo trabajando en sus portátiles y con un pequeño conjunto de datos extraídos manualmente. Desarrollaban el modelo en aislamiento operativo, y los resultados se incorporaban manualmente a las aplicaciones. Entonces, una vez que el modelo estaba completo y predecía con precisión, empezaba la verdadera lucha de intentar llevarlo a producción, para generar un valor empresarial real.

En este punto, la empresa se enfrentaba a retos como la ingestión de datos de producción, el entrenamiento a gran escala, el servicio en tiempo real y el monitoreo/gestión de los modelos en producción. A menudo se tardaba meses en superar estos obstáculos, lo que suponía un enorme coste en recursos y tiempo perdido.

El proceso de la IA está aislado, con equipos que trabajan de forma aislada y con muchas herramientas y marcos diferentes que no necesariamente funcionan bien entre sí. Esto da lugar a un enorme despilfarro de recursos y a que las empresas no puedan capitalizar su inversión en ciencia de datos. Según Gartner, hasta el 85% de los proyectos de ciencia de datos no cumplen las expectativas.

En este libro, proponemos un cambio de mentalidad, que aborde estos retos existentes que impiden llevar los modelos a la producción. Recomendamos un planteamiento que dé prioridad a la producción: no empezar con el modelo, sino con el diseño de un proceso operativo continuo, y luego asegurarse de que los distintos componentes y prácticas se integren en él. Automatizando tantos componentes como sea posible y haciendo que el proceso sea rápido y repetible, la canalización puede escalar junto con las necesidades de la organización y proporcionar un valor empresarial rápido, al tiempo que responde a las necesidades dinámicas y empresariales de MLOps.

Hoy en día, cada vez más empresas comprenden el enorme potencial de los modelos de IA para influir positivamente en el negocio a través de muchos nuevos casos de uso. Y con la IA generativa abriendo nuevas oportunidades para la innovación empresarial en todos los sectores, parece que la adopción y el uso de la IA van a dispararse en los próximos años. Este libro explora cómo dar vida a la ciencia de datos para estos escenarios de MLOps del mundo real.

A quién va dirigido este libro

Este libro está dirigido a los profesionales encargados de construir, gestionar, mantener y hacer operativo el proceso de ciencia de datos de principio a fin: los jefes de ciencia de datos, los jefes de ingeniería de ML, los científicos de datos sénior, los ingenieros de MLOps y los ingenieros de aprendizaje automático.

Estos profesionales están familiarizados con los recovecos (así como con los retos y obstáculos) de la canalización de la ciencia de datos, y tienen los conocimientos tecnológicos iniciales, por ejemplo, en Python, pandas, sklearn y otros.

Este libro también puede ser valioso para otros líderes tecnológicos como CIOs, CTOs y CDOs que quieran escalar eficientemente el uso de la IA en toda su organización, crear aplicaciones de IA para múltiples casos de uso empresarial y salvar los silos organizativos y tecnológicos que les impiden hacerlo hoy en día.

El libro está pensado para ser leído de tres maneras. Primero, de un tirón, como guía estratégica que abre horizontes a nuevas ideas de MLOps. En segundo lugar, al realizar cualquier cambio estratégico en la canalización que requiera consulta y ayuda. Por ejemplo, al introducir datos en tiempo real en la canalización, escalar la canalización existente a una nueva fuente de datos/caso de uso empresarial, automatizar la canalización de MLOps, implantar un Almacén de Características o introducir una nueva herramienta en la canalización. Por último, puedes consultar el libro a diario cuando ejecutes e implementes MLOps. Por ejemplo, para identificar y solucionar un cuello de botella en la canalización, el monitoreo de la canalización y la gestión de la inferencia.

Navegar por este libro

Este libro está construido según las fases del pipeline de MLOps, guiándote desde tus primeros pasos con MLOps hasta los casos de uso más avanzados:

• Los capítulos1-3 muestran cómo deben enfocar las organizaciones los MLOps, cómo pueden empezar los equipos de ciencia de datos y qué preparar para tu primer proyecto de MLOps.

• Los capítulos 4-7 explican los componentes de una canalización de MLOps resistente y escalable, y cómo construir una canalización de aprendizaje automático que se amplíe a toda la organización.

• El capítulo 8 trata de las canalizaciones de aprendizaje profundo y también se sumerge en la GenAI y los LLM.

• Los capítulos 9 y 10 muestran cómo adaptar las canalizaciones a verticales y casos de uso específicos, como implementaciones híbridas, predicciones en tiempo real, IA compuesta, etc.

A lo largo del libro, encontrarás ejemplos de código real para que los pruebes tú mismo de forma interactiva.

Después de leer este libro, estarás unos pasos más cerca de poder hacerlo:

• Construye un canal de MLOps.

• Construye un canal de aprendizaje profundo.

• Construye soluciones específicas para cada aplicación (por ejemplo, para la PNL).

• Construye soluciones específicas para cada caso de uso, (por ejemplo, para la predicción del fraude).

Convenciones utilizadas en este libro

En este libro se utilizan las siguientes convenciones tipográficas:

Cursiva

Indica nuevos términos, URL, direcciones de correo electrónico, nombres de archivo y extensiones de archivo.

Constant width

Se utiliza en los listados de programas, así como dentro de los párrafos para referirse a elementos del programa como nombres de variables o funciones, bases de datos, tipos de datos, variables de entorno, sentencias y palabras clave.

Constant width bold

Muestra comandos u otros textos que deben ser tecleados literalmente por el usuario.

Constant width italic

Muestra el texto que debe sustituirse por valores proporcionados por el usuario o por valores determinados por el contexto.

Consejo

Este elemento significa un consejo o sugerencia.

Nota

Este elemento significa una nota general.

Advertencia

Este elemento indica una advertencia o precaución.

Utilizar ejemplos de código

Puedes descargarte material complementario (ejemplos de código, ejercicios, etc.) en https://github.com/mlrun/demo-fraud y https://github.com/mlrun/demo-llm-tuning.

Si tienes una pregunta técnica o un problema al utilizar los ejemplos de código, envía un correo electrónico a [e-mail].

Este libro está aquí para ayudarte a hacer tu trabajo. En general, si se ofrece código de ejemplo con este libro, puedes utilizarlo en tus programas y documentación. No es necesario que te pongas en contacto con nosotros para pedirnos permiso, a menos que estés reproduciendo una parte importante del código. Por ejemplo, escribir un programa que utilice varios trozos de código de este libro no requiere permiso. Vender o distribuir ejemplos de los libros de O'Reilly sí requiere permiso. Responder a una pregunta citando este libro y el código de ejemplo no requiere permiso. Incorporar una cantidad significativa de código de ejemplo de este libro en la documentación de tu producto sí requiere permiso.

Agradecemos la atribución, pero en general no la exigimos. Una atribución suele incluir el título, el autor, la editorial y el ISBN. Por ejemplo "Implementing MLOps in the Enterprise", de Yaron Haviv y Noah Gift (O'Reilly). Copyright 2024 Yaron Haviv y Noah Gift, 978-1-098-13658-1".

Si crees que el uso que haces de los ejemplos de código no se ajusta al uso legítimo o al permiso concedido anteriormente, no dudes en ponerte en contacto con nosotros en [e-mail].

Aprendizaje en línea O'Reilly

Nota

Durante más de 40 años, O 'Reilly Media ha proporcionado formación tecnológica y empresarial, conocimientos y perspectivas para ayudar a las empresas a alcanzar el éxito.

Nuestra red única de expertos e innovadores comparten sus conocimientos y experiencia a través de libros, artículos y nuestra plataforma de aprendizaje online. La plataforma de aprendizaje en línea de O'Reilly te ofrece acceso bajo demanda a cursos de formación en directo, rutas de aprendizaje en profundidad, entornos de codificación interactivos y una amplia colección de textos y vídeos de O'Reilly y de más de 200 editoriales. Para más información, visita https://oreilly.com.

Cómo contactar con nosotros

Dirige tus comentarios y preguntas sobre este libro a la editorial:

• O'Reilly Media, Inc.
• 1005 Gravenstein Highway Norte
• Sebastopol, CA 95472
• 800-889-8969 (en Estados Unidos o Canadá)
• 707-829-7019 (internacional o local)
• 707-829-0104 (fax)
• [e-mail]
• https://www.oreilly.com/about/contact.html

Tenemos una página web para este libro, donde se enumeran erratas, ejemplos y cualquier información adicional. Puedes acceder a esta página en https://oreil.ly/mlops-in-the-enterprise.

Envía un correo electrónico a [e-mail] para comentar o hacer preguntas técnicas sobre este libro.

Para obtener noticias e información sobre nuestros libros y cursos, visita https://oreilly.com.

Encuéntranos en LinkedIn: https://linkedin.com/company/oreilly-media.

Síguenos en Twitter: https://twitter.com/oreillymedia.

Míranos en YouTube: https://youtube.com/oreillymedia.

Agradecimientos

Nos gustaría dar las gracias a las personas que, entre bastidores, nos han ayudado, guiado y apoyado a lo largo del viaje de este libro. Sin ellos, este libro no habría cobrado vida.

Gracias al entregado equipo de O'Reilly, que nos proporcionó comentarios y orientación, impulsó el proceso de redacción de este libro y ayudó a pulir el contenido. Nos gustaría dar las gracias especialmente a Corbin Collins por ser nuestro socio durante todo el proceso, prestando mucha atención a todos los detalles y ayudándonos a cumplir los plazos, y a Nicole Butterfield, por su apoyo inquebrantable y su valiosa aportación.

Agradecemos profundamente a nuestros revisores técnicos, Dhanasekar Sundararaman, Tigran Harutyunyan, Nivas Durairaj y Noga Cohen, su experiencia y sabiduría.

Yaron

Estoy encantada de presentar mi primer libro, culminación de años de experiencia y conocimientos, y de compartirlo con lectores de todo el mundo.

Estoy profundamente agradecida a mi familia, Dvori, Avia, Ofri y Amit, por su amor y apoyo a lo largo de mi carrera y del largo proceso de escribir este libro. Su paciencia y sus ánimos han significado mucho para mí.

Un agradecimiento especial a Sahar, que me animó a escribir este libro, y a Guy y al equipo de Iguazio, que compartieron sus conocimientos, experiencias y ejemplos de código.

Noah

Siempre es un honor tener la oportunidad de trabajar en un libro de O'Reilly. Este libro es mi quinto libro de O'Reilly y probablemente mi último libro técnico, ya que me estoy dedicando a otras formas de escritura y creación de contenidos. Gracias a todas las personas con las que he trabajado en O'Reilly, incluidos los editores y colaboradores actuales y anteriores y los autores del libro reciente.

También quiero dar las gracias a muchos de mis antiguos y actuales alumnos, profesores y personal del Duke MIDS, el Máster de Inteligencia Artificial en Ingeniería de Duke, ya que muchas de las ideas de este libro proceden de los cursos que impartí y de las preguntas que me plantearon los alumnos.

Por último, gracias a mi familia, Leah, Liam y Theodore, que me aguantaron trabajando los fines de semana y hasta altas horas de la noche para cumplir los plazos.