Arquitectura de Plataformas de Datos y Aprendizaje Automático

Capítulo 8. Arquitecturas para el streaming

Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: [e-mail]

En este capítulo, aprenderás por qué la tendencia de la industria se aleja inexorablemente de los lotes y se dirige hacia el streaming. Hablaremos de las distintas arquitecturas de streaming y de cómo elegir entre ellas. También profundizaremos en dos de estas arquitecturas -el micro-batching y los pipelines de streaming- y discutiremos cómo realizar consultas ad hoc en tiempo real en ambas arquitecturas. Por último, a veces la razón para hacer streaming es emprender alguna acción de forma autónoma cuando ocurren ciertos eventos, y discutiremos cómo diseñar tales sistemas automatizados.

El valor del streaming

Las empresas a lo largo de todo el espectro de madurez tecnológica, desde las nativas digitales a las empresas más tradicionales, en muchos sectores están reconociendo el valor creciente de tomar decisiones más rápidas. Por ejemplo, pensemos en la empresa A, que tarda tres días en aprobar un préstamo para un vehículo. La empresa B, en cambio, aprobará o denegará un préstamo en cuestión de minutos. Esa mayor comodidad hará que la empresa B tenga una ventaja competitiva.

Incluso mejor que decisiones más rápidas es poder tomar decisiones en contexto. Ser capaz de tomar decisiones mientras se está produciendo el evento (ver Figura 8-1) es mucho más valioso que tomar la decisión incluso unos minutos más tarde. Por ejemplo, ...