Datenalgorithmen mit Spark

Kapitel 6. Graph-Algorithmen

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

Bisher haben wir uns vor allem mit Datensätzen beschäftigt, die in der Regel in Flat Files oder relationalen Datenbanken gespeichert sind und als Matrix (eine Reihe von Zeilen mit benannten Spalten) dargestellt werden können. Jetzt wenden wir uns den graphbasierten Daten zu, die die Beziehungen zwischen zwei oder mehr Datenpunkten darstellen. Ein gängiges Beispiel sind Daten aus sozialen Netzwerken: Wenn zum Beispiel "Alex" ein "Freund" von "Jane" ist und "Jane" ein "Freund" von "Bob", bilden diese Beziehungen einen Graphen. Flugdaten sind ein weiteres gängiges Beispiel für grafische Daten; wir werden diese beiden (und andere) in diesem Kapitel untersuchen.

Datenstrukturen sind bestimmte Arten, Daten in Computern zu organisieren und zu speichern, damit sie effektiv genutzt werden können. Neben linearen Datenstrukturen wie denjenigen, mit denen wir uns in den vorangegangenen Kapiteln befasst haben (Arrays, Listen, Tupel usw.), gehören dazu auch nichtlineare Strukturen wie Bäume, Hash-Maps und Graphen.

In diesem Kapitel wird GraphFrames vorgestellt, ein leistungsstarkes externes Paket für Spark, das APIs für die Darstellung gerichteter und ungerichteter Graphen, die Abfrage und Analyse von Graphen und die Ausführung von Algorithmen auf Graphen bietet. Zunächst werden wir uns mit Graphen und ihren Verwendungszwecken befassen ...