スパーク定義ガイド

第33章. エコシステムとコミュニティ

この作品はAIを使って翻訳されている。ご意見、ご感想をお待ちしている：[e-mail]

Sparkの最大のセールスポイントの1つは、リソース、ツール、貢献者の多さだ。この記事を書いている時点で、Sparkコードベースには1,000人以上の貢献者がいる。これは、他のほとんどのプロジェクトが達成を夢見ているよりも桁違いに多く、貢献者とスチュワードの両面でSparkの素晴らしいコミュニティの証である。Sparkプロジェクトは、大小さまざまな企業がコミュニティに参加しようとしており、その勢いが衰える気配はない。このような環境は、公式のSparkパッケージやユーザがSparkで使用できる非公式の拡張機能など、Sparkの機能を補完・拡張する多くのプロジェクトを刺激している。

スパーク・パッケージ

Spark Sparkに特化したパッケージのリポジトリがある：Spark Packagesである。これらのパッケージについては第9章と第24章で説明した。SparkパッケージはSparkアプリケーションのためのライブラリで、コミュニティと簡単に共有できる。GraphFramesは 、その完璧な例である。Sparkに組み込まれている低レベル（GraphX）APIよりもはるかに使いやすい方法で、Sparkの構造化API上でグラフ分析を利用できるようにする。その他にも、Sparkをコアとしてその機能を拡張する機械学習やDeep Learningを含む多くのパッケージがある。

これらの高度な分析パッケージ以外にも、特定の業種の問題を解決するためのパッケージが存在する。ヘルスケアとゲノミクスでは、ビッグデータ・アプリケーションの機会が急増している。例えば 、ADAM ProjectはSparkのCatalystエンジンに独自の内部最適化を施し、ゲノム処理用のスケーラブルなAPIとCLIを提供している。もう一つの パッケージであるHailは、ゲノムデータを探索・分析するためのオープンソースでスケーラブルなフレームワークである。VCFやその他の形式のシーケンスやマイクロアレイデータから始まり、HailはノートPC上のギガバイトスケールデータやクラスタ上のテラバイトスケールデータの統計解析を可能にするスケーラブルなアルゴリズムを提供する。

この記事を書いている時点で、選択できるパッケージは400種類近くある。ユーザとしては、ビルドファイルの依存関係としてSparkパッケージを指定することができる（本書のGitHubリポジトリにある）。また、ビルドファイルに明示的に追加しなくても、ビルド済みのjarファイルをダウンロードしてクラスパスに含めることもできる。Sparkパッケージは、spark-shellまたはspark-submitコマンドラインツールにパラメータを渡すことで、実行時にインクルードすることもできる。

人気パッケージの抜粋リスト

前述の通り、Sparkのパッケージは400近くある。SparkパッケージのWebサイトで特定のパッケージを検索することができるので、これらすべてを含めてもユーザとしては意味がない。しかし、より人気のあるパッケージをいくつか挙げておく価値はあるだろう：

Spark Cassandraコネクタ

このコネクタ 、Cassandraデータベースからデータを出し入れするのに役立つ。

Spark Redshift コネクター

この コネクターは、Redshift ...