November 2024
Intermediate to advanced
606 pages
17h 8m
French
Content preview from Spark : Le guide définitif
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
O’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.I wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.I’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.I'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.
Chapitre 11. Jeux de données
Cet ouvrage a été traduit à l'aide de l'IA. Tes réactions et tes commentaires sont les bienvenus : translation-feedback@oreilly.com
Les Datasets sont le type fondamental des API structurées. Nous avons déjà travaillé avec les DataFrames, qui sont des Datasets de type Row, et qui sont disponibles dans les différents langages de Spark. Les Datasets sont une fonctionnalité strictement liée au langage de la machine virtuelle Java (JVM) qui ne fonctionne qu'avec Scala et Java. En utilisant les Datasets, tu peux définir l'objet dont sera composée chaque ligne de ton Dataset. Dans Scala, il s'agira d'un objet de classe de cas qui définit essentiellement un schéma que tu peux utiliser, et dans Java, tu définiras un Java Bean. Les utilisateurs expérimentés font souvent référence aux Datasets comme étant "l'ensemble typé d'API" dans Spark. Pour plus d'informations, voir le chapitre 4.
Au chapitre 4, nous avons discuté du fait que Spark possède des types comme StringType, BigIntType, StructType, et ainsi de suite. Ces types spécifiques à Spark correspondent à des types disponibles dans chacun des langages de Spark, comme String, Integer, et Double. Lorsque tu utilises l'API DataFrame, tu ne crées pas de chaînes de caractères ou d'entiers, mais Spark manipule les données pour toi en manipulant l'objet Row. En fait, si tu utilises Scala ou Java, tous les "DataFrames" sont en réalité des Datasets de type Row. Pour prendre en charge efficacement les objets spécifiques ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Read now
Unlock full access
More than 5,000 organizations count on O’Reilly
O’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.Julian F.
I wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.Addison B.
I’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.Amir M.
I'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.