入門 PySpark ―PythonとJupyterで活用するSpark 2エコシステム

20

2

章 耐障害性分散データセット

{'Porsche': 100000},

['Spain','visited', 4504]

]).collect()

つまり、

tuple

、

dict

、

list

などほとんどあらゆるものを混在させることが可能であり、そうして

もSpark にとっては問題になりません。

データセットを

.collect()

すれば（すなわちドライバへデータを戻すアクションを実行すれば）、

Pythonで普通に行っているのと同じやり方でオブジェクト内のデータにアクセスできます。

data_heterogenous[1]['Porsche']

結果は次のようになります。

100000

.collect()

メソッドは、RDD内のすべての要素をリストとしてシリアライズし、ドライバに返します。

.collect()

を使う際の注意事項については、本章でこのあとさらに詳しく説明します。

2.2.2

　

ファイルからの読み込み

テキストファイルからの読み取りを行うと、ファイルの各行が RDDの要素になります。

data_from_file.take(1)

コマンドを実行すると、次のように出力されるでしょう（なにやら読

み取れない内容ですが）。

これをもっと読みやすくするために、各行が要素の値になっているリストを作成しましょう。

2.2.3

　

ラムダ式

この例では、暗号じみた見かけの

data_from_file

レコードから有益な情報を取り出します。

2.2

 

RDD

の生成

21

次のメソッドの詳細については、本書の

GitHub ...