Apache Spark によるストリーム処理

第22章. 任意のステートフル・ストリーミング計算

この作品はAIを使って翻訳されている。ご意見、ご感想をお待ちしている：[e-mail]

これまでのところ、 、Spark Streamingが過去のレコードとは無関係に受信データに対してどのように動作するかを見てきた。多くのアプリケーションでは、古いデータ点に関して受信データの進化を分析することにも興味がある。 また、受信データ点によって生成された変化を追跡することにも興味があるかもしれない。 つまり、すでに見たデータを使ってシステムのステートフルな表現を構築することに興味があるかもしれない。

Spark Streamingには、以前に見たデータに関する知識を構築してストアしたり、その知識を使って新しいデータを変換したりするための関数がいくつか用意されている。

ストリーム規模でのステートフルネス

関数型プログラマは 、ステートフルネスを持たない関数を好む。これらの関数は、関数定義の外界の状態とは無関係に戻り値を返す。

しかし、関数はステートレスであり、入力にのみ注意を払い、しかも関数であることの規則を破ることなく、その計算とともに管理された値の概念を保持することができる。 この考え方は、ある中間状態を表すこの値は、計算の1つまたはいくつかの引数の走査で使用され、引数の構造の走査と同時に何らかの記録を保持するというものである。

例えば、第17章で説明したreduce の演算子は、引数として与えられたRDDの走査に沿って、1つの値を更新し続ける：

val streamSums = stream.reduce {
  case (accum, x) => (accum + x)
}

ここで、入力DStreamに沿った各RDDの中間和の計算は、RDDの要素を左から右へ反復し、アキュムレータ変数の更新を維持することによって行われる-アキュムレータの新しい値（括弧の間）を返す更新操作によって指定される操作である。

updateStateByKey

ストリームの前の要素に依存する結果を計算するのが便利な場合がある：

• ストリームの全要素の総和。

• 特定のマーカー値の出現回数。

• ストリームの要素の特定の順序が指定された場合に、ストリームで遭遇する要素のうち最も高い要素。

この演算は、しばしば、reduce のような大きな演算の結果と考えることができる。ストリームのトラバーサルに沿って、演算の状態の何らかの表現を更新することになる。Spark Streamingでは、これはupdateStateByKey 関数によって提供される：

  def updateStateByKey[S: ClassTag](
      updateFunc: (Seq[V], Option[S]) => Option[S]
    ): DStream[(K, S)]

updateStateBykey は、キーと値のペアのDStreamsに対してのみ定義される演算子である。引数として状態更新関数を取る。この状態更新関数は以下の型でなければならない：

`Seq[V] -> Option[S] -> Option[S]`

この型は、現在のバッチの演算中に到着した、与えられたキーに対するすべての値に対応する、V 型の新しい値のセットと、S 型で表されるオプションの状態を、更新演算がどのように受け取るかを反映している。その後、S 状態に対する新しい値を計算し、返すべき値がある場合はSome(state) ...