データエンジニアリングの基礎 ―データプロジェクトで失敗しないために

11章データエンジニアリングの未来

この分野は変化のスピードが速いため、既存のデータエンジニア、データエンジニアリングのキャリアに興味がある人、テクノロジ管理者、データエンジニアリングを自社に適用する方法を知りたい経営幹部などの間に大きな知識のギャップがある。本書はこの認識から生まれた。本書の構成について考え始めたとき、友人たちから「これほど急速に変化している分野についてよく書けるものだ！」という反応を受けた。多くの点で、彼らは正しい。データエンジニアリングの分野、いやデータ全般が日々変化しているように感じられる。ノイズの中から「変わらないもの」というシグナルを見つけることは、本書の構成と執筆において最も困難なことの1つだった。

本書では、今後数年間役に立つと思われるコンセプトに焦点を当てた。業務の順序、ベストプラクティスやテクノロジの名称は変わるかもしれないが、ライフサイクルの主要なステージは今後もずっとそのままだろう。我々は、テクノロジが疲れるほどのスピードで変化し続けていることを痛感している。現代、テクノロジ分野で働いていると、ジェットコースターに乗っているような、あるいは鏡の国にいるように感じる。

数年前には、「データエンジニアリング」は、分野としても職種としても存在しなかった。今、あなたは「データエンジニアリングの基礎」という本を読んでいる！データエンジニアリングライフサイクル、潮流、テクノロジ、ベストプラクティスなど、データエンジニアリングの基礎についてすべて学んだ。ここで、データエンジニアリングは今後どうなっていくんだろう、と疑問に思うだろう。未来を予測することは誰にもできないが、我々は過去、現在、そして現在のトレンドについてはよくわかっている。我々は幸運にも、データエンジニアリングの発生と進化を最前列で見てきた。この最終章では、現在進行中の開発についての考察や、荒唐無稽な未来への推測を含め、未来についての我々の考えを紹介する。 ...