Algoritmos de dados com o Spark

Capítulo 3. Transformações do mapeador

Este trabalho foi traduzido com recurso a IA. Agradecemos o teu feedback e comentários: [e-mail]

Este capítulo apresentará as transformações mais comuns do mapeador Spark através de exemplos simples de trabalho. Sem uma compreensão clara das transformações, é difícil usá-las de forma adequada e significativa para resolver qualquer problema de dados. Examinaremos as transformações do mapeador no contexto das abstrações de dados RDD. Um mapeador é uma função utilizada para processar todos os elementos de um RDD de origem e gerar um RDD de destino. Por exemplo, um mapeador pode transformar um registo String em tuplas, pares (chave, valor) ou qualquer que seja o resultado desejado. Informalmente, podemos dizer que um mapeador transforma uma fonteRDD[V] num alvo RDD[T], em queV e T são os tipos de dados dos RDDs de origem e de destino, respetivamente. Também podes aplicar transformações de mapeador a DataFrames, aplicando funções de DataFrame (utilizando select() e UDFs) a todas as linhas ou convertendo o teu DataFrame (uma tabela de linhas e colunas) num RDD e, em seguida, utilizando astransformações de mapeador do Spark.

Código fonte

Os programas completos para este capítulo estão disponíveis no repositório GitHub do livro.

Abstrações de dados e mapeadores

O Spark tem muitas transformações e acções, mas este capítulo é dedicado a explicar as que são mais frequentemente utilizadas na construção de aplicações Spark. As ...