Arquitetar plataformas de dados e de aprendizagem automática

Capítulo 8. Arquiteturas para streaming

Este trabalho foi traduzido com recurso a IA. Agradecemos o teu feedback e comentários: [e-mail]

Neste capítulo, você aprenderá por que a tendência do setor está inexoravelmente se afastando do lote e indo para o streaming. Discutiremos diferentes arquiteturas de streaming e como escolher entre elas. Também vamos nos aprofundar em duas dessas arquiteturas - micro-batching e pipelines de streaming - e discutir como oferecer suporte a consultas ad hoc em tempo real nessas duas arquiteturas. Finalmente, às vezes a razão para fazer streaming é tomar alguma ação de forma autônoma quando certos eventos acontecem, e discutiremos como arquitetar tais sistemas automatizados.

O valor do streaming

As empresas ao longo de todo o espetro de maturidade tecnológica, desde os nativos digitais até às empresas mais tradicionais, em muitos sectores, estão a reconhecer o valor crescente de tomar decisões mais rápidas. Por exemplo, considera a empresa A, que demora três dias a aprovar um empréstimo automóvel. A empresa B, por outro lado, aprova ou recusa um empréstimo em minutos. Essa maior comodidade levará a empresa B a ter uma vantagem competitiva.

Ainda melhor do que decisões mais rápidas é a capacidade de tomar decisões em contexto. Ser capaz de tomar decisões enquanto o evento está a decorrer (ver Figura 8-1) é significativamente mais valioso do que tomar a decisão mesmo alguns minutos mais tarde. Por exemplo, se conseguires detetar ...