DevOpsのためのPython

第15章 データエンジニアリング データ工学

この作品はAIを使って翻訳されている。ご意見、ご感想をお待ちしている：[e-mail]

データサイエンスは21世紀で最もセクシーな仕事かもしれないが、この分野は様々な職種へと急速に進化している。データサイエンティストというのは、一連の仕事を表すにはあまりに粗雑な表現だった。 2020年現在、同じかそれ以上の報酬を得ることができる2つの仕事は、データエンジニアとマシンラーニングエンジニアだ。

さらに驚くのは、従来のデータサイエンティストをサポートするために必要なデータエンジニアの数が膨大であることだ。 データサイエンティスト1人に対して、データエンジニアは3人から5人というところだ。

何が起きているのか？ 別の角度から見てみよう。私たちが新聞の見出しを書いていて、人目を引くことを言いたいのだとしよう。 CEOは金持ちにとって最もセクシーな仕事である。 NBAのスター選手が少ないように、プロの俳優で生計を立てている人が少ないように、CEOは少ない。 CEO1人に対して、そのCEOを成功させるためにどれだけの人が働いているのだろうか？この最後の文は、"水は濡れている "のように、内容のない無意味なものだ。

このin文は、データサイエンティストとして生計を立てられないと言っているのではなく、このin文の背景にあるロジスティクスに対する批判である。 データに関するスキルには大きな需要があり、それはDevOpsからマシン学習、コミュニケーションまで多岐にわたる。 データサイエンティストという言葉は曖昧だ。 それは仕事なのか振る舞いなのか？ ある意味、DevOpsという言葉に似ている。 DevOpsは仕事なのか、それとも振る舞いなのか？

求人広告のデータと給与データを見ると、求人市場ではデータエンジニアリングとマシンラーニングエンジニアリングの実際の職務に明らかな需要があると言われているようだ。 なぜなら、これらの職務は特定可能なタスクを実行するからだ。 データ・エンジニアの仕事は、バッチとストリーミングの両方のデータを収集するパイプラインをクラウドで作成し、そのデータにアクセスするためのAPIを作成し、ジョブをスケジュールすることだ。 この仕事は、ふにゃふにゃしたタスクではない。 機能するかしないかだ。

同様に、機械学習エンジニアは機械学習モデルを構築し、メンテナンス可能な方法でデプロイする。 この仕事もふにゃふにゃしていない。 エンジニアは、データエンジニアリングやマシンラーニングエンジニアリングを行っても、データサイエンスやDevOpsに帰属する振る舞いを示すことができる。複雑で堅牢なデータパイプラインを構築し、それを他の複雑で強力な予測システムにフィードする機会がかなりあるからだ。 豊かすぎても痩せすぎてもいけない」という式がある。 同様に、データに関しても、DevOpsやデータサイエンスのスキルがありすぎることはない。 DevOps風味のデータエンジニアリングのアイデアをいくつか紹介しよう。

スモールデータ

ツールキットはエキサイティングな概念だ。 配管工を家に呼び出せば、彼らはあなたよりも効率的に作業をこなせる道具を持ってやってくる。 大工を雇い、家で何かを作る場合、彼らもまた独自の道具セットを持っている。 プロフェッショナルにとってツールは不可欠であり、DevOpsも例外ではない。

このセクションでは、データエンジニアリングのツールについて概説する。 これらのツールには、ファイルの読み取りと書き込み、 ...