97 cosas que todo ingeniero de datos debe saber

Capítulo 27. Ingeniería de datos eficaz en el mundo de la nube

Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: [e-mail]

Dipti Borkar

VP de Producto, Alluxio

La nube ha cambiado la dinámica de la ingeniería de datos, así como el comportamiento de los ingenieros de datos en muchos aspectos. Esto se debe principalmente a que un ingeniero de datos en las instalaciones sólo se ocupa de las bases de datos y de algunas partes de la pila Hadoop. En la nube, las cosas son un poco diferentes.

De repente, los ingenieros de datos tienen que pensar de forma diferente y más amplia. En lugar de centrarte exclusivamente en la infraestructura de datos, ahora eres casi un ingeniero de pila completa (dejando de lado la aplicación final, quizás). Cada vez se necesitan más habilidades en la pila más amplia: computación, contenedores, almacenamiento, movimiento de datos, rendimiento, red. He aquí algunos conceptos de diseño y elementos de la pila de datos a tener en cuenta.

Pila de datos desagregados

Históricamente, las bases de datos estaban estrechamente integradas, con todos los componentes centrales construidos juntos. Hadoop cambió eso con la computación y el almacenamiento colocados en un sistema distribuido, en lugar de estar en una o varias cajas. Luego la nube cambió eso. Hoy en día, es una pila totalmente desagregada, en la que ...