初めてのSpark

101

6



Spark

の度なグラング

6.1

イントクン

本章では、これまでの章では取り上げてこなかった、

Spark

プログラミングの高度な機能を紹介

します。情報を集計するためのムーと、大きな値を効率的に分配するためのー

という、

2

つの種類の共有変数を紹介します。

RDD

に対する既存の変換の上に構築

される、例えばデータベースへのクエリのようにセットアップのコストが大きなタスクのバッチ

操作も紹介しましょう。利用できるツールの範囲を広げるために、

R

で書かれたスクリプトのよう

な、外部のプログラムとやり取りするための

Spark

のメソッド群も取り上げます。

本章を通じて、ハムラジオのオペレータのコールログを入力に使ってサンプルを構築します。こ

れらのログには、最低でもコンタクトのあったステーションのコールサインが含まれます。コール

サインは国ごとに割り当てられ、それぞれの国にはコールサインの範囲が割り当てられているの

で、コールサインに関係する国をルックアップすることができます。コールログの中には、オペ

レータの物理的な場所も含まれているので、その情報を使えば距離を割り出すこともできます。



6-1

は、ログエントリのサンプルです。本書のサンプルのリポジトリには、コールログから

ルックアップして、その結果を処理するコールサインのリストが含まれています。



6-1



JSON

ー

{"address":"address ...