
200
10
章
Structured Streaming
10.2
Spark Streaming
の必要性
Tathagata Dasは、Apache Sparkプロジェクトのコミッターであり、プロジェクト管理コミッ
ティー(PMC)のメンバーであるとともに、Spark Streamingのリード開発者でもあります。彼は、
Spark Streaming: What is It and Who's Using it(https://www.datanami.com/2015/11/30/spark-
streaming-what-is-it-and-whos-using-it/)と い う Datanami の記事において、ストリーミングには
ビジネス上のニーズがあると書きました。オンライントランザクションやソーシャルメディアに加え、
センサーやデバイスが普及してきたことによって、企業はこれまで以上のペースでこれまで以上の量の
データを生成し、処理するようになっています。
大規模な環境下で対応した動きを取るための知見をリアルタイムに得られるならば、企業は競争力を
高めることができます。不正取引を検出するためにセンサー異常のリアルタイム検出機能を提供するの
であれ、波及力のある新しいツィートに反応することであれ、データサイエンティストやデータエンジ
ニアの道具の中で、ストリーミングの分析が持つ重要性は増してきています。
Spark Streaming そのものの採用が急速に増えているのは、Apa