September 2024
Intermediate to advanced
294 pages
9h 48m
German
Content preview from Skalierung von Machine Learning mit Spark
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
O’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.I wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.I’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.I'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.
Kapitel 2. Einführung in Spark und PySpark
Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: translation-feedback@oreilly.com
Das Ziel dieses Kapitels ist es, dich auf den neuesten Stand von PySpark und Spark zu bringen und dir genug Informationen zu geben, damit du mit den Tutorials im Rest des Buches zurechtkommst. Fangen wir ganz am Anfang an. Was genau ist Spark? Apache Spark wurde ursprünglich 2009 an der UC Berkeley entwickelt und ist eine Open-Source-Analyse-Engine für Big Data und maschinelles Lernen. Schon bald nach seiner Veröffentlichung wurde es von Unternehmen aus vielen Branchen übernommen und wird in großem Umfang von großen Unternehmen wie Netflix, Yahoo und eBay eingesetzt, um Exabytes an Daten auf Clustern mit vielen Tausend Knoten zu verarbeiten. Auch die Spark-Gemeinschaft ist schnell gewachsen und umfasst inzwischen über 1.000 Mitwirkende aus mehr als 250 Organisationen.
Hinweis
Wenn du tiefer in Spark eintauchen möchtest, solltest du dir das Buch Spark: The Definitive Guide, von Bill Chambers und Matei Zaharia (O'Reilly).
Um dich auf den Rest des Buches vorzubereiten, behandelt dieses Kapitel die folgenden Bereiche:
-
Die verteilte Architektur von Apache Spark
-
Grundlagen von Apache Spark (Softwarearchitektur und Datenstrukturen)
-
Unveränderlichkeit des Datenrahmens
-
Das funktionale Paradigma von PySpark
-
Wie sich Pandas-Datenrahmen von Spark-Datenrahmen unterscheiden
-
Scikit-learn versus PySpark für ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Read now
Unlock full access
More than 5,000 organizations count on O’Reilly
O’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.Julian F.
I wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.Addison B.
I’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.Amir M.
I'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.