初めてのSpark

114

6 章　Spark の高度なプログラミング

6.5

のグラムのイ

Spark

では、最初から

3

つの言語バインディングを使うことができるので、

Spark

のアプリケー

ションを書く際に必要な条件は、すべて満たせてしまえるかもしれません。しかし、必要なことが

Scala

、

Java

、

Python

のいずれでもできない場合には、例えば

R

のスクリプトのような、他の言語

で書かれたプログラムに対してパイプでデータを渡すための汎用的な仕組みが、

Spark

には用意さ

れています

Spark

の

RDD

には、

pipe()

メソッドがあります。

pipe()

を使えば、

Unix

の標準入出力の読

み書きができる言語であれば、好きな言語を使って処理の一部を書くことができます。

pipe()

を

使えば、例えば

RDD

の各要素を標準入力から

String

として読み取り、その

String

を自由に処

理してから標準出力へ

String

として結果を書き出すような変換が書けるようになります。このイ

ンターフェイスとプログラミングモデルには制約があり、限定されているものの、例えば

map

や

フィルタの処理の中で、ネイティブコードの関数を使いたい場合のように、このやり方がまさに適

していることもあります。

もっともあり得るのは、すでに構築とテストが済んだ複雑なソフトウェアが手元にあり、それを

Spark

から再利用するために、外部のプログラムへ

RDD

の内容をパイプで渡したいような場合で

す。

R

のコードを持っているデータサイエンティストは多く、

pipe() ...