Rozdział 3. API strukturalne Apache Spark
W tym rozdziale omówimy podstawowe powody, dla których dodano strukturę do Apache Spark. Ponadto wyjaśnimy, w jaki sposób doprowadziły one do powstania API wysokiego poziomu (DataFrame i Dataset), a także jak przebiegało ujednolicenie komponentów wspomnianych API w wydaniu Spark 2.x. Zajmiemy się również silnikiem Spark SQL, który się za nimi kryje.
Gdy we wczesnych wydaniach Sparka 1.x pojawił się silnik Spark SQL (https://spark.apache.org/releases/spark-release-1-1-0.html), a w wersji 1.3 — struktura DataFrame (https://databricks. com/blog/2015/02/02/an-introduction-to-json-support-in-spark-sql.html) będąca następczynią SchemaRDD (https://spark.apache.org/docs/1.1.0/api/java/org/apache/spark/sql/SchemaRDD.html ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Read now
Unlock full access