Capítulo 2. Plataformas de processamento de fluxo contínuo
Este trabalho foi traduzido com recurso a IA. Agradecemos o teu feedback e comentários: translation-feedback@oreilly.com
No Capítulo 1, apresentamos um caso de uso simples para obter dados em tempo real para os consumidores. Também apresentamos os conectores e como eles podem converter dados em repouso em dados em movimento (ou fluxos de eventos) e depois publicá-los em tópicos em plataformas de fluxo contínuo.
Os fluxos de eventos podem agora ser lidos, mas muito provavelmente ainda não estão num formato que os consumidores possam utilizar. Os eventos tendem a necessitar de limpeza e preparação antes de serem submetidos a processamento analítico. Os eventos também precisam de ser enriquecidos com contexto para que sejam suficientemente úteis para obter informações. O processamento analítico depende em grande medida da exatidão e da fiabilidade dos dados. Ao resolver problemas como valores em falta, inconsistências, duplicações e outliers, a qualidade dos dados é melhorada, conduzindo a resultados analíticos mais fiáveis e precisos.
Na Figura 2-1, a preparação dos dados de eventos também pode afetar significativamente o desempenho das consultas analíticas. Ao otimizar o layout, a indexação e o particionamento dos dados, a eficiência da recuperação e do processamento dos dados pode ser melhorada. Isto inclui técnicas como a desnormalização de dados, armazenamento em colunas e estratégias de indexação adaptadas à carga de ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Read now
Unlock full access