スパーク定義ガイド

第14章. 分散共有変数

この作品はAIを使って翻訳されている。ご意見、ご感想をお待ちしている：[e-mail]

レジリエンス分散データセット（RDD）インタフェースに加えて、Sparkの低レベルAPIの2つ目は、2種類の「分散共有変数」であるブロードキャスト変数とアキュムレータである。これらはユーザ定義関数（例えば、RDDやDataFrameのmap 関数）で使用できる変数で、クラスタ上で実行すると特殊化する。具体的には、アキュムレータはすべてのタスクからのデータを合計して共有結果にすることができ（例えば、ジョブの入力レコードのうちいくつが解析に失敗したかを確認できるカウンタを実装するため）、ブロードキャスト変数はすべてのワーカーノードに大きな値を保存し、クラスタに再送信することなく多くのSparkアクションで再利用することができる。この章では、各変数の動機と使い方について説明する。

ブロードキャスト変数

ブロードキャスト 変数は、その変数をファンクション・クロージャーでカプセル化することなく、クラスタ内で不変の値を効率的に共有できる方法である。タスク内でドライバノードの変数を使用する通常の方法は、関数クロージャ内でその変数を参照する（例えばmap 演算子）だけだが、これは特にルックアップテーブルやor 機械学習モデルのような大きな変数では非効率になることがある。その理由は、クロージャ内で変数を使うと、ワーカー・ノードで何度も（タスクごとに）デシリアライズしなければならないからだ。さらに、同じ変数を複数のSparkアクションやジョブで使用すると、1回ではなくジョブごとにワーカーに再送されることになる。

そこでブロードキャスト変数の出番だ。ブロードキャスト変数は、タスクごとにシリアライゼーションされるのではなく、クラスタ内のすべてのマシンにキャッシュされる共有の不変性変数である。典型的な使用例は、図14-1に示すように、エクゼキュータ上のメモリに収まる大きなルックアップテーブルを渡して、それを適応度関数で使用することである。

図14-1. ブロードキャスト変数

例えば、単語や値のリストがあるとする：

// in Scala
val myCollection = "Spark The Definitive Guide : Big Data Processing Made Simple"
  .split(" ")
val words = spark.sparkContext.parallelize(myCollection, 2)

# in Python
my_collection = "Spark The Definitive Guide : Big Data Processing Made Simple"\
  .split(" ")
words = spark.sparkContext.parallelize(my_collection, 2)

単語リストを、何キロバイト、何メガバイト、あるいはギガバイトになる可能性のある他の情報で補完したい。SQLで考えれば、これは技術的には右結合である：

// in Scala
val supplementalData = Map("Spark" -> 1000 ...