August 2015
Intermediate to advanced
312 pages
7h 28m
Japanese
Content preview from 初めてのSpark
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
O’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.I wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.I’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.I'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.
30
3 章 RDD を使ったプログラミング
3.3.3
評価
すでに述べた通り、
RDD
に対する変換の評価は遅延させられます。すなわち、
Spark
はアク
ションが行われるまで、変換の処理を始めないのです。
Spark
を使い始めたばかりのユーザーに
は、これは直感に反することかもしれません。しかしこれは、
Haskell
のような関数型言語や、
LINQ
のようなデータ処理フレームワークを使ったことがある人にとっては、おなじみの考え方で
しょう。
遅延評価は、
RDD
に対する変換を呼んだとき（例えば
map()
を呼んだ場合）、その操作がすぐ
には実行されないことを意味します。
Spark
は、その操作を実行する代わりに、その操作が要求さ
れたことを示すメタデータを内部的に記録します。
RDD
は、特定のデータを格納しているものと
考えるのではなく、変換を通じて構成されるデータの計算方法を含むものと考えるのが良いでしょ
う。
RDD
へのデータのロードもまた、変換と同様に遅延評価されます。従って、
sc.textFile()
を呼んだだけでは、必要になるまでデータはロードされないのです。変換の場合と同様に、こう
いった操作（ここではデータの読み取り）も、複数回行われることがあります。
変換は遅延させられますが、
count()
のようなアクションを実行することによって、いつでも
Spark に変換の実行を強制させることができます。こうすれば、プログラムの一部を簡単にテスト
することができます。
Spark
は、遅延評価を行うことによって、操作をグループとしてまとめ、データに対する操作の ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Read now
Unlock full access
More than 5,000 organizations count on O’Reilly
O’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.Julian F.
I wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.Addison B.
I’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.Amir M.
I'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.