August 2015
Intermediate to advanced
312 pages
7h 28m
Japanese
Content preview from 初めてのSpark
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
O’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.I wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.I’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.I'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.
66
4 章 キー／値ペアの処理
ショナを持たない結果を生成します。
最後に
2
つの
RDD
を扱う操作について触れておきましょう。出力にどの
RDD
のパーティショ
ナが設定されるかは、親の
RDD
のパーティショナによります。デフォルトではハッシュパーティ
ショナが使われ、パーティション数は処理の際の並列度に設定されます。ただし、親のどちらかの
partitioner
が設定されているなら、そのパーティショナが使われることになります。どちらの親
にも
partitioner
が設定されている場合は、
1
つめの親のパーティショナが使われます。
4.5.4
：
PageRank
RDD
のパーティショニングの恩恵を受けることができる複雑なアルゴリズムの例として、
PageRank
について考えてみましょう。
Google
の
Larry Page
にちなんで名付けられた
PageRank
は、ある集合中の各ドキュメントに対し、そのドキュメントに対するリンクを張っているドキュ
メントの数に基づいて、重要度（ランク）を割り当てることを目的としています。
PageRank
は、
もちろん
Web
ページのランク付けに使うことができますが、科学的な記事や、ソーシャルネット
ワーク中で影響力を持つユーザーのランク付けにも利用できます。
PageRank
はイテレーティブなアルゴリズムであり、数多くの結合を実行します。そのため、
PageRank
は
RDD
のパーティショニングの良いユースケースなのです。このアルゴリズムは、
2
つのデータセットを管理します。
1
つのデータセットには、各ページの近隣のリストが ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Read now
Unlock full access
More than 5,000 organizations count on O’Reilly
O’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.Julian F.
I wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.Addison B.
I’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.Amir M.
I'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.