初めてのSpark

102

6 章　Spark の高度なプログラミング

有すると便利です。リモートコールサインルックアップデータベースを使い、パーティションごと

に操作を行うことで、セットアップの作業の成果を再利用する方法を見ていくことにしましょう。

直接サポートされている言語に加えて、

Spark

のシステムは他の言語で書かれたプログラムを呼

ぶこともできます。本章では、言語を問わず利用できる

Spark

の

pipe()

メソッドを使い、標準入

出力を通じて他のプログラムとやり取りする方法を紹介します。

pipe()

メソッドは、ハムラジオ

のオペレータのコンタクト同士の距離を計算する

R

のライブラリにアクセスするために使います。

最後に、キー／値ペアを扱うツールと同様に、

Spark

には数値データを扱うメソッドがありま

す。これらのメソッドを使って、ハムラジオのコールログで計算した距離から、例外を取り除いて

みましょう。

6.2

アムレータ

map()

の関数や、

filter()

の条件のように、関数を

Spark

に渡す場合、通常はそれらの外部で

あるドライバプログラム内で定義された変数を使うことができます。ただし、クラスタ内で実行さ

れているそれぞれのタスクは各変数の新しいコピーを受け取ることになり、それらのコピーでの更

新は、ドライバ側には反映されません。

Spark

の共有変数であるムーとー

は、結果の集約およびブロードキャストという

2

つの一般的な通信のパターンにおいて、

この制約を緩和します。

1

つ目の種類の共有変数であるアキュムレータが提供するのは、ワーカーノード群からドライバ ...