March 2025
Intermediate to advanced
358 pages
6h 18m
Japanese
Content preview from 高性能SparkBecome an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
O’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.I wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.I’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.I'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.
インデックス
シンボル
- !(否定)演算子、単純なDataFrame変換とSQL式
- !==（非等価演算子）、単純なDataFrame変換とSQL式
- カラムの検索、単純な DataFrame 変換、SQL 式に使用する $ 演算子。
- ===（等価演算子）、単純なDataFrame変換、SQL式
A
- アキュムレータ,アキュムレータ
- キャッシュとの相互作用,アキュムレータとの相互作用
- ストリーミング高可用性モード,高可用性モード（またはドライバの障害やチェックポイントの処理）
- ジョブ検証のための使用,ジョブ検証
- アキュムレータV2インタフェース、アキュムレータ
- アクション,遅延評価
- アーキテクチャの意味,Sparkジョブのスケジューリング,Sparkジョブの解剖学
- キーと値のペアに関する アクション, キーと値のペアに関するアクション
- ストリーミングテストの基本クラス, StreamActionBase,ストリーミング
- 対RDDの変換,RDD上の関数：変換とアクションの比較
- 加算関数、アキュムレータ
- agg API、集計とgroupBy、データセットに対するグループ化操作
- aggregateByKey関数,既知のパーティショナーを代入して結合を高速化する。
- におけるメモリ割り当ての回避,パフォーマンスを考慮した集約操作の辞書
- マップサイドの組み合わせ,集約操作でのメモリ不足エラーの防止
- 最適化,既存のオブジェクトの再利用
- パフォーマンスの考慮,パフォーマンスを考慮した集約操作の辞書
- aggregateColumnFrequencies関数、各パーティションの値をソートしカウントする。
- 集合体
- 集約とgroupBy,集約とgroupBy
- key/value データに対する集計演算の選択,集計演算の選択-RDDの乗算演算子
- 性能に問題のある演算子の辞書,性能を考慮した集約演算の辞書
- メモリ不足エラーの防止,集約操作によるメモリ不足エラーの防止
- ウィンドウ上の集計を計算する,Windowing
- ユーザ定義集約関数でSpark SQLを拡張する、ユーザ定義関数と集約関数（UDF、UDAF）で拡張する。
- ゴルディロックス最終例の各パーティションで、((セル値, 列インデックス), カウント)に集計する。
- Datasets,Grouped Operations on Datasetsでグループ化されたデータに対して行う。
- 最適化, 集計オブジェクトとして配列を使う,より小さなデータ構造を使う
- キーによってレコード数を減らす、GroupByKeyが失敗する理由
- 既存オブジェクトの再利用,既存オブジェクトの再利用
- ワイド変換の高速化,キー／バリュー・データでの作業
- ナイーブベイズのための構造化ストリーミング集約,構造化ストリーミングによるマシン学習
- 悪い暗黙変換（例）,より小さいデータ構造を使う
- エイリアス演算子、単純なDataFrame変換とSQL式
- Anaconda、CDHクラスタへのパッケージ追加、PySpark依存性管理
- アパッチ・バヒール・プロジェクト、ソースとシンク
- Apache Parquet(Parquetファイル参照)
- Apache Toree、エクレアJSの仕組み
- アペンド（セーブモード）、セーブモード
- アプリケーション（Spark）,Sparkアプリケーション
- アプリケーションツリー,Sparkジョブの解剖学
- ArrayBufferの代わりにマップまたはflatMapを使用した 例
- 配列
- Spark SQL、関数、単純なDataFrame変換とSQL式
- メモリ効率のために、より小さなデータ構造を使う
- 演算子として、単純なDataFrame変換とSQL式 ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Read now
Unlock full access
More than 5,000 organizations count on O’Reilly
O’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.Julian F.
I wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.Addison B.
I’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.Amir M.
I'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.