September 2024
Intermediate to advanced
438 pages
10h 26m
German
Content preview from Datenalgorithmen mit SparkBecome an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
Start your free trial
Index
Symbole
- > (FASTA-Beschreibungszeile), FASTA-Format
- >>> PySpark-Shell Eingabeaufforderung, PySpark-Shell verwenden
A
- Aktionen, Aktionen
- collect() action, Actions, Actions, Schritt 1: Erstelle ein RDD[String] aus der Eingabe
- collectAsMap(), Map-Side Join mit RDDs
- count() action, Aktionen
- in Lazy Transformationen, Lazy Transformationen
- bei der RDD-Erstellung, Was sind Transformationen?
- reduce()-Aktion, Aktionen
- saveAsMap() action, Aktionen, Faule Transformationen
- saveAsTextFile() Aktion, Aktionen
- Addition über eine Menge von ganzen Zahlen, Monoide, Addition über eine Menge von ganzen Zahlen
- Adjazenzmatrix, im PageRank-Algorithmus, Benutzerdefinierter PageRank in PySpark unter Verwendung einer Adjazenzmatrix
- aggregateByKey()-Transformation, Spark's Reductions, Lösen mit aggregateByKey(), Die aggregateByKey()-Transformation - ZweiteLösung mit aggregateByKey()
- Aggregation
- In-Mapper Combining per Record, In-Mapper Combining per Record-In-MapperCombining per Record
- mit mapPartitions(), Vorteile und Nachteile
- Zusammenführen von Schlüsselwerten, Aggregieren und Zusammenführen von Werten von Schlüsseln - Aggregierenund Zusammenführen von Werten von Schlüsseln, Aggregieren von Werten für ähnliche Schlüssel
- Amazon Athena, Amazon Athena Beispiel-AmazonAthena Beispiel
- Amazon EC2, Schlüsselbegriffe
- Amazon S3, Lesen von und Schreiben in Amazon S3 - Schreibenin Amazon S3
- Apache Avro, Lesen und Schreiben von Avro-Dateien
- Apache Hadoop, Warum Spark für Datenanalyse, Schlüsselbegriffe, Lesen und Schreiben von Hadoop-Dateien ...