Google BigQuery: Der endgültige Leitfaden

Vorwort

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

Unternehmen werden zunehmend datengesteuert, und eine Schlüsselkomponente der Datenstrategie eines jeden Unternehmens ist ein Data Warehouse - ein zentraler Speicher für integrierte Daten aus dem gesamten Unternehmen. Traditionell wurde das Data Warehouse von Datenanalysten genutzt, um analytische Berichte zu erstellen. Inzwischen wird es aber auch immer häufiger genutzt, um Dashboards in Echtzeit zu bestücken, Ad-hoc-Abfragen durchzuführen und mit Hilfe von Predictive Analytics Entscheidungshilfen zu liefern. Aufgrund dieser geschäftlichen Anforderungen an fortschrittliche Analysen und des Trends zu Kostenkontrolle, Agilität und Self-Service-Datenzugriff gehen viele Unternehmen zu Cloud-basierten Data Warehouses wie Google BigQuery über.

In diesem Buch geben wir einen umfassenden Überblick über BigQuery, ein serverloses, hoch skalierbares und kostengünstiges Data Warehouse für Unternehmen, das in der Google Cloud verfügbar ist. Da keine Infrastruktur verwaltet werden muss, können sich Unternehmen auf die Analyse von Daten konzentrieren, um mithilfe von vertrautem SQL aussagekräftige Erkenntnisse zu gewinnen.

Unser Ziel bei BigQuery war es, eine Datenplattform zu entwickeln, die Spitzenfunktionen bietet, die vielen großartigen Technologien nutzt, die heute in Cloud-Umgebungen verfügbar sind, und bewährte Datentechnologien unterstützt, die auch heute noch relevant sind. Ein Beispiel: Googles BigQuery ist eine serverlose Rechenarchitektur, die Rechenleistung und Speicherung entkoppelt. Dadurch können die verschiedenen Schichten der Architektur unabhängig voneinander arbeiten und skalieren, und Datenentwickler/innen haben mehr Flexibilität bei Design und Einsatz. Einzigartig ist, dass BigQuery natives maschinelles Lernen und geografische Analysen unterstützt. Mit Cloud Pub/Sub, Cloud Dataflow, Cloud Bigtable, Cloud AI Platform und vielen Integrationen von Drittanbietern arbeitet BigQuery sowohl mit traditionellen als auch mit modernen Systemen zusammen, und zwar in einem weiten Bereich des gewünschten Durchsatzes und der Latenz. Außerdem unterstützt BigQuery ANSI-Standard-SQL, Spaltenoptimierung und föderierte Abfragen, die für die von vielen Nutzern geforderte Ad-hoc-Datenexploration entscheidend sind.

Für wen ist dieses Buch?

Dieses Buch richtet sich an Datenanalysten, Dateningenieure und Datenwissenschaftler, die BigQuery nutzen wollen, um Erkenntnisse aus großen Datensätzen zu gewinnen. Datenanalysten können mit BigQuery über SQL und über Dashboarding-Tools wie Looker, Data Studio und Tableau interagieren. Dateningenieure können BigQuery in Datenpipelines integrieren, die in Python oder Java geschrieben sind und Frameworks wie Apache Spark und Apache Beam nutzen. Datenwissenschaftler/innen können in BigQuery Modelle für maschinelles Lernen erstellen, TensorFlow-Modelle auf Daten in BigQuery ausführen und verteilte, groß angelegte Operationen von einem Jupyter-Notebook aus an BigQuery delegieren.

In diesem Buch verwendete Konventionen

In diesem Buch werden die folgenden typografischen Konventionen verwendet:

Kursiv

Weist auf neue Begriffe, URLs, E-Mail-Adressen, Dateinamen und Dateierweiterungen hin.

Constant width

Wird für Programmlistings sowie innerhalb von Absätzen verwendet, um auf Programmelemente wie Variablen- oder Funktionsnamen, Datenbanken, Datentypen, Umgebungsvariablen, Anweisungen und Schlüsselwörter hinzuweisen.

Constant width bold

Zeigt Befehle oder anderen Text an, der vom Benutzer wortwörtlich eingetippt werden sollte.

Constant width italic

Zeigt Text an, der durch vom Benutzer eingegebene oder durch den Kontext bestimmte Werte ersetzt werden soll.

Tipp

Dieses Element steht für einen Tipp oder eine Anregung.

Hinweis

Dieses Element steht für einen allgemeinen Hinweis.

Warnung

Dieses Element weist auf eine Warnung oder einen Warnhinweis hin.

Code-Beispiele verwenden

Zusätzliches Material (Code-Beispiele, Übungen usw.) steht unter https://github.com/GoogleCloudPlatform/bigquery-oreilly-book zum Download bereit .

Wenn du eine technische Frage oder ein Problem mit den Codebeispielen hast, sende bitte eine E-Mail an [e-mail].

Dieses Buch soll dir helfen, deine Arbeit zu erledigen. Wenn in diesem Buch Beispielcode angeboten wird, darfst du ihn in deinen Programmen und deiner Dokumentation verwenden. Du musst uns nicht um Erlaubnis fragen, es sei denn, du reproduzierst einen großen Teil des Codes. Wenn du zum Beispiel ein Programm schreibst, das mehrere Teile des Codes aus diesem Buch verwendet, brauchst du keine Erlaubnis. Der Verkauf oder die Verbreitung von Beispielen aus O'Reilly-Büchern erfordert jedoch eine Genehmigung. Die Beantwortung einer Frage mit einem Zitat aus diesem Buch und einem Beispielcode erfordert keine Genehmigung. Wenn du einen großen Teil des Beispielcodes aus diesem Buch in die Dokumentation deines Produkts aufnimmst, ist eine Genehmigung erforderlich.

Wir freuen uns über eine Namensnennung, verlangen sie aber in der Regel nicht. Eine Quellenangabe umfasst normalerweise den Titel, den Autor, den Verlag und die ISBN. Ein Beispiel: "Google BigQuery: The Definitive Guide von Valliappa Lakshmanan und Jordan Tigani (O'Reilly). Copyright 2020 Valliappa Lakshmanan und Jordan Tigani, 978-1-492-04446-8."

Wenn du der Meinung bist, dass die Verwendung von Code-Beispielen nicht unter die Fair-Use-Regelung oder die oben genannte Erlaubnis fällt, kannst du uns gerne unter [e-mail] kontaktieren .

O'Reilly Online Learning

Hinweis

Seit mehr als 40 Jahren bietet O'Reilly Media Schulungen, Wissen und Einblicke in Technologie und Wirtschaft, um Unternehmen zum Erfolg zu verhelfen.

Unser einzigartiges Netzwerk von Experten und Innovatoren teilt sein Wissen und seine Erfahrung durch Bücher, Artikel und unsere Online-Lernplattform. Die Online-Lernplattform von O'Reilly bietet dir On-Demand-Zugang zu Live-Trainingskursen, ausführlichen Lernpfaden, interaktiven Programmierumgebungen und einer umfangreichen Text- und Videosammlung von O'Reilly und über 200 anderen Verlagen. Weitere Informationen findest du unter http://oreilly.com.

Wie du uns kontaktierst

Bitte richte Kommentare und Fragen zu diesem Buch an den Verlag:

• O'Reilly Media, Inc.
• 1005 Gravenstein Highway Nord
• Sebastopol, CA 95472
• 800-998-9938 (in den Vereinigten Staaten oder Kanada)
• 707-829-0515 (international oder lokal)
• 707-829-0104 (Fax)

Wir haben eine Webseite für dieses Buch, auf der wir Errata, Beispiele und zusätzliche Informationen auflisten. Du kannst diese Seite unter https://oreil.ly/google_bigquery_tdg aufrufen .

Wenn du Kommentare oder technische Fragen zu diesem Buch stellen möchtest, sende eine E-Mail an [e-mail].

Neuigkeiten und weitere Informationen zu unseren Büchern und Kursen findest du auf unserer Website unter http://www.oreilly.com.

Finde uns auf Facebook: http://facebook.com/oreilly

Folge uns auf Twitter: http://twitter.com/oreillymedia

Folge den Autoren auf Twitter: https://twitter.com/lak_gcp und https://twitter.com/jrdntgn

Schau uns auf YouTube: http://www.youtube.com/oreillymedia

Danksagungen

Wir (Lak und Jordan) hatten großes Glück mit unseren Rezensenten - Elliott Brossard, Evan Jones, Graham Polley, Rebecca Ward und Tegan Tigani haben jedes Kapitel dieses Buches geprüft und zahlreiche Verbesserungsvorschläge gemacht. Elliott hat unsere SQL-Abfragen schlank und sauber gehalten. Wir haben von Evans Erfahrung mit BigQuery bei Google Finance profitiert. Graham brachte eine wertvolle Kundenperspektive in viele unserer Diskussionen über Kosten und Regionalisierung ein. Rebecca hielt uns auf dem Boden der Tatsachen, und Tegan sorgte dafür, dass unsere Sprache einfach und klar war. Neben diesen fünf haben viele Googler (Chad Jennings, Haris Khan, Misha Brukman, Daniel Gundrum, Mosha Pashumansky, Amir Hormati und Mingge Deng) Teile des Manuskripts in ihren Fachgebieten überprüft. Alle verbleibenden Fehler sind natürlich unsere.

Danke auch an unsere Familien, Teamkollegen und Manager (Rochana Golani und Sudhir Hasbe) für ihre Unterstützung. Mit Nicole Taché und Kristen Brown, unseren Redakteurinnen bei O'Reilly, war es eine Freude, zusammenzuarbeiten. Der Text ist durch die aufmerksame Arbeit von Bob Russell, unserem Lektor, unermesslich besser geworden. Dieses Buch war die Idee von Saptarshi Mukherjee, und er war es, der uns beide dazu gedrängt hat, gemeinsam an einem neuen BigQuery-Buch zu arbeiten. Schließlich möchten wir uns bei den BigQuery-Nutzern (und Konkurrenten!) dafür bedanken, dass sie uns dazu gebracht haben, BigQuery besser zu machen, und beim BigQuery-Entwicklungsteam, das die Magie möglich gemacht hat.

Wir spenden 100% der Tantiemen aus diesem Buch an United Way of King County, wo wir beide leben. Wir möchten dich ermutigen, dich bei einer lokalen Wohltätigkeitsorganisation zu engagieren, um zu spenden, ehrenamtlich zu arbeiten und etwas zu unternehmen, um die größten Herausforderungen deiner Gemeinde zu lösen.

Aktualisierungen der ersten Ausgabe

Es gibt neue Funktionen und Verbesserungen für BigQuery in einem halsbrecherischen Tempo. Wir werden auf https://github.com/GoogleCloudPlatform/bigquery-oreilly-book Links zu Artikeln veröffentlichen, die neue Funktionen und Updates für BigQuery erklären . In regelmäßigen Abständen werden wir diese Artikel in Aktualisierungen dieses Buches zusammenfassen.

Dieses Buch wurde im November 2019 veröffentlicht, und das erste Update wurde im Juni 2020 angewendet. In dieser Aktualisierung wurden neue oder erweiterte Abschnitte über Scripting, Reservierungen, materialisierte Ansichten, Sicherheit auf Spaltenebene, dynamisches SQL, maschinelles Lernen, Zugriffskontrollen auf Tabellenebene und föderierte Abfragen aufgenommen.