August 2015
Intermediate to advanced
312 pages
7h 28m
Japanese
Content preview from 初めてのSpark
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
O’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.I wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.I’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.I'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.
88
5 章 データのロードとセーブ
プロジェクトをビルドする際には、必ず Protocol Buffers ライブラリのバージョンを Spark と揃
えてください。本書の執筆時点で使われているのは、バージョン 2.5 です。
5.2.7
フイルの
ビッグデータを扱う際には、ストレージの領域を節約したり、ネットワークのオーバーヘッドを
削減するために、圧縮されたデータを使わなければならないことがよくあります。
Hadoop
のほと
んどの出力フォーマットでは、データを圧縮するためのコーデックを指定できます。すでに見てき
た通り、
Spark
のネイティブの入力フォーマット群（
textFile
および
sequenceFile
）は、いくつ
かの種類の圧縮を自動的に処理してくれます。圧縮されたデータを読む場合、圧縮の種類を自動的
に推測するために使われる圧縮コーデックがいくつか用意されているのです。
これらの圧縮は、圧縮をサポートしている
Hadoop
のフォーマット群、中でもファイルシステ
ムへ書き出されるものでのみ利用可能です。概して、データベースの
Hadoop
フォーマット群に
は圧縮のサポートは実装されておらず、圧縮されたレコードがあったとしても、それはデータベー
ス側で設定されたものです。
出力の圧縮コーデックの選択は、そのデータの将来のユーザーに大きな影響を及ぼします。
Spark
のような分散システムでは、通常の場合は複数のマシンからデータが読まれることになりま
す。そのためには、各ワーカーは新しいレコードの開始地点を見つけることができなければなりま ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Read now
Unlock full access
More than 5,000 organizations count on O’Reilly
O’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.Julian F.
I wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.Addison B.
I’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.Amir M.
I'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.