
6
1 章 Spark によるデータ分析への招待
サポートされています。加えて、
Matlab
や
R
による外部プログラムの呼び出しもサポートされて
います。データサイエンティストは、
Spark
を使うことによって、
R
や
Pandas
では扱うことので
きなかった大規模なデータサイズの問題に取り組むことができるようになるのです。
場合によっては、初期の探求フェーズの後、データサイエンティストの作業が製品化、あるいは
拡張や強化(例えばフォールトトレラント化)になり、ビジネスアプリケーションのコンポーネン
トの
1
つとして製品化されるようなデータ処理のアプリケーションになることがあります。例え
ば、データサイエンティストによる初期の調査が、製品のレコメンデーションシステムの作成につ
ながり、それが
Web
アプリケーションに組み込まれ、ユーザーに対する製品のサジェッションの
生成に使われることもあるでしょう。データサイエンティストの成果を製品化するプロセスをリー
ドするのは別の人物やチームになり、その人物がエンジニアであることは、よくあることです。
1.4.1
データ理アーン
これ以外の
Spark
の主なユースケースは、エンジニアの目線から説明することができます。こ
こでいうエンジニアとは、
Spark
を使って実稼働させるデータ処理アプリケーションを構築するソ
フトウェア開発者という大きな集団です。こうした開発者は、通常カプセル化やインターフェイス
の設計、あるいはオブジェクト指向プログラミングといったソフトウェアエンジニアリングの原則 ...