Spark高级数据分析（第2版）

Spark高级数据分析（第2版）

by Sandy Ryza, Uri Laserson, Sean Owen, Josh Wills
Released June 2018
Publisher(s): Posts & Telecom Press
ISBN: 9787115482525

Read it now on the O’Reilly learning platform with a 10-day free trial.

O’Reilly members get unlimited access to books, live events, courses curated by job role, and more from O’Reilly and nearly 200 top publishers.

Start your free trial

Book description

作为计算框架，Spark速度快，开发简单，能同时兼顾批处理和实时数据分析，因此很快被广大企业级用户所采纳，并随着近年人工智能的崛起而成为分析和挖掘大数据的重要得力工具。

本书由业内知名数据科学家执笔，通过丰富的示例展示了如何结合Spark、统计方法和真实世界数据集来解决数据分析问题，既涉及模型的构建和评价，也涵盖数据清洗、数据预处理和数据探索，并描述了如何将结果变为生产应用，是运用Apache Spark进行大数据分析和处理的实战宝典。

第2版根据新版Spark最佳实践，对样例代码和所用资料做了大量更新。

本书涵盖模式如下：

  • 音乐推荐和Audioscrobbler数据集
  • 用决策树算法预测森林植被
  • 基于K均值聚类进行网络流量异常检测
  • 基于潜在语义算法分析维基百科
  • 用GraphX分析伴生网络
  • 对纽约出租车轨迹进行空间和时间数据分析
  • 通过蒙特卡罗模拟来评估金融风险
  • 基因数据分析和BDG项目
  • 用PySpark和Thunder分析神经图像数据

Table of contents

  1. 封面
  2. 扉页
  3. 版权
  4. 版权声明
  5. O’Reilly Media, Inc.介绍
  6. 目录
  7. 推荐序
  8. 译者序
  9. 序
  10. 前言
    1. 本书内容
    2. 第2版说明
    3. 使用代码示例
    4. O’Reilly Safari
    5. 联系我们
    6. 致谢
    7. 电子版
  11. 第1章 大数据分析
    1. 1.1 数据科学面临的挑战
    2. 1.2 认识Apache Spark
    3. 1.3 关于本书
    4. 1.4 第2版说明
  12. 第2章 用Scala和Spark进行数据分析
    1. 2.1 数据科学家的Scala
    2. 2.2 Spark编程模型
    3. 2.3 记录关联问题
    4. 2.4 小试牛刀：Spark shell和SparkContext
    5. 2.5 把数据从集群上获取到客户端
    6. 2.6 把代码从客户端发送到集群
    7. 2.7 从RDD到DataFrame
    8. 2.8 用DataFrame API来分析数据
    9. 2.9 DataFrame的统计信息
    10. 2.10 DataFrame的转置和重塑
    11. 2.11 DataFrame的连接和特征选择
    12. 2.12 为生产环境准备模型
    13. 2.13 评估模型
    14. 2.14 小结
  13. 第3章 音乐推荐和Audioscrobbler数据集
    1. 3.1 数据集
    2. 3.2 交替最小二乘推荐算法
    3. 3.3 准备数据
    4. 3.4 构建第一个模型
    5. 3.5 逐个检查推荐结果
    6. 3.6 评价推荐质量
    7. 3.7 计算AUC
    8. 3.8 选择超参数
    9. 3.9 产生推荐
    10. 3.10 小结
  14. 第4章 用决策树算法预测森林植被
    1. 4.1 回归简介
    2. 4.2 向量和特征
    3. 4.3 样本训练
    4. 4.4 决策树和决策森林
    5. 4.5 Covtype数据集
    6. 4.6 准备数据
    7. 4.7 第一棵决策树 (1/2)
    8. 4.7 第一棵决策树 (2/2)
    9. 4.8 决策树的超参数
    10. 4.9 决策树调优
    11. 4.10 重谈类别型特征
    12. 4.11 随机决策森林
    13. 4.12 进行预测
    14. 4.13 小结
  15. 第5章 基于K均值聚类的网络流量异常检测
    1. 5.1 异常检测
    2. 5.2 K均值聚类
    3. 5.3 网络入侵
    4. 5.4 KDD Cup 1999数据集
    5. 5.5 初步尝试聚类
    6. 5.6 k的选择
    7. 5.7 基于SparkR的可视化
    8. 5.8 特征的规范化
    9. 5.9 类别型变量
    10. 5.10 利用标号的熵信息
    11. 5.11 聚类实战
    12. 5.12 小结
  16. 第6章 基于潜在语义分析算法分析维基百科
    1. 6.1 文档-词项矩阵
    2. 6.2 获取数据
    3. 6.3 分析和准备数据
    4. 6.4 词形归并
    5. 6.5 计算TF-IDF
    6. 6.6 奇异值分解
    7. 6.7 找出重要的概念
    8. 6.8 基于低维近似的查询和评分
    9. 6.9 词项-词项相关度
    10. 6.10 文档-文档相关度
    11. 6.11 文档-词项相关度
    12. 6.12 多词项查询
    13. 6.13 小结
  17. 第7章 用GraphX分析伴生网络
    1. 7.1 对MEDLINE文献引用索引的网络分析
    2. 7.2 获取数据
    3. 7.3 用Scala XML工具解析XML文档
    4. 7.4 分析MeSH主要主题及其伴生关系
    5. 7.5 用GraphX来建立一个伴生网络
    6. 7.6 理解网络结构
      1. 7.6.1 连通组件
      2. 7.6.2 度的分布
    7. 7.7 过滤噪声边
      1. 7.7.1 处理EdgeTriplet
      2. 7.7.2 分析去掉噪声边的子图
    8. 7.8 小世界网络
      1. 7.8.1 系和聚类系数
      2. 7.8.2 用Pregel计算平均路径长度
    9. 7.9 小结
  18. 第8章 纽约出租车轨迹的空间和时间数据分析
    1. 8.1 数据的获取
    2. 8.2 基于Spark的第三方库分析
    3. 8.3 基于Esri Geometry API和Spray的地理空间数据处理
      1. 8.3.1 认识Esri Geometry API
      2. 8.3.2 GeoJSON简介
    4. 8.4 纽约市出租车客运数据的预处理
      1. 8.4.1 大规模数据中的非法记录处理
      2. 8.4.2 地理空间分析
    5. 8.5 基于Spark的会话分析
    6. 8.6 小结
  19. 第9章 基于蒙特卡罗模拟的金融风险评估
    1. 9.1 术语
    2. 9.2 VaR计算方法
      1. 9.2.1 方差-协方差法
      2. 9.2.2 历史模拟法
      3. 9.2.3 蒙特卡罗模拟法
    3. 9.3 我们的模型
    4. 9.4 获取数据
    5. 9.5 数据预处理
    6. 9.6 确定市场因素的权重
    7. 9.7 采样
    8. 9.8 运行试验
    9. 9.9 回报分布的可视化
    10. 9.10 结果的评估
    11. 9.11 小结
  20. 第10章 基因数据分析和BDG项目
    1. 10.1 分离存储与模型
    2. 10.2 用ADAM CLI导入基因学数据 (1/2)
    3. 10.2 用ADAM CLI导入基因学数据 (2/2)
    4. 10.3 从ENCODE数据预测转录因子结合位点 (1/2)
    5. 10.3 从ENCODE数据预测转录因子结合位点 (2/2)
    6. 10.4 查询1000 Genomes项目中的基因型
    7. 10.5 小结
  21. 第11章 基于PySpark和Thunder的神经图像数据分析
    1. 11.1 PySpark简介
    2. 11.2 Thunder工具包概况和安装
    3. 11.3 用Thunder加载数据
    4. 11.4 用Thunder对神经元进行分类
    5. 11.5 小结
  22. 作者介绍
  23. 封面介绍

Product information

  • Title: Spark高级数据分析（第2版）
  • Author(s): Sandy Ryza, Uri Laserson, Sean Owen, Josh Wills
  • Release date: June 2018
  • Publisher(s): Posts & Telecom Press
  • ISBN: 9787115482525

You might also like

book

管理Kubernetes

by Brendan Burns, Craig Tracey

虽然Kubernetes极大地简化了部署容器化应用程序的工作，但每天管理这种编排框架仍然是一项复杂的工作。站点管理人员以及 开发运营工程师可以通过本书学习如何构建、操作、管理及升级 Kubernetes集群，无论这些集群位于云基础架构之上还是在企业内部。 本书的作者Brendan Burns是Kubernetes的联合创始人，而Craig Tracey 是Heptio的现场工程师。本书详细讲解了Kubernetes的内部工作原理，并向读者展示了如何通过维护、调整和改善集群来满足特定需求。你可以通过本书学习如何从设计集群、管理访问控制、监视和报警，以及升级Kubernetes等方面来综合考虑架构的选择，还可以 通过本书深入了解如何充分利用这种编排框架的功能。 “学习如何操作集群，开发人员如何利用Kubernetes部署应用程序，以及如何利用Kubernetes减轻开发人员的负担。 通过掌握Kubernetes API以及配置选项来调整、保护，以及调节集群。 检测集群级别的问题，学习必要的响应步骤并快速恢复集群。 确定如何以及何时添加构建、扩展或以其他方式改进 Kubernetes集群的库、工具和平台。

book

C#并发编程经典实例（第2版）

by Stephen Cleary

如今的用户对响应式界面的期望越来越高，开发人员不得不努力赋予应用程序越来越强的能力，并发编程兼顾了这两大趋势。对现代应用程序来说，并发编程迅速地成为了不可或缺的需求。然而，众多开发人员依然认为并发编程富有挑战。 如果你曾在并发编程十分复杂的年代里受挫，那么本书能帮助你重拾勇气。或许我们永远无法将并发编程形容为“小菜一碟”，但借助现代程序库以及.NET和C# 8.0的语言特性，你一定不会再如过去那般举步维艰。你将通过本书掌握以下内容。 面向异步编程的async和await 利用异步流让代码更强 利用.NET TPL探索并行编程 利用.NET TPL数据流库创建数据流管道 了解基于LINQ的System.Reactive 利用线程安全且不可变的集合 使用并发代码进行单元测试 让线程池为己所用 探索如何整合并发方法 并发代码中的取消功能支持 深入理解支持异步的面向对象编程 …

book

全脑设计：基于脑科学原理的产品设计

by John Whalen

用户体验不是在屏幕上发生的，而是在用户的脑海中发生的。体验是多维度的、多感官的。本书可以帮助你发掘有关顾客的关键洞察，让你打造拥有卓越体验的产品与服务。 企业领导人、营销专家、产品经理和设计师可以从本书学到大脑不同区域的认知过程是如何构成我们眼中的“一次体验”的。John Whalen向你展示了团队中的任何人都可以进行“情境访谈”，以获得洞察。你还可以学到如何将这些知识加以应用，为顾客设计优秀的体验。 学习用户体验的“六元思维”，以及其中的每个元素如何构成了整体的“单一体验”。 了解如何让你的团队无须任何心理学的专业训练，就能发掘顾客有意识与潜意识认知过程的关键洞察。 学习如何快速应用你所学的知识，去改进你的产品和服务。 探索实际示例，了解财富100强公司如何运用这个体系去构建非凡体验。

book

Python机器学习基础教程

by Andreas C. Müller, Sarah Guido

机器学习已成为许多商业应用和研究项目不可或缺的一部分，海量数据使得机器学习的应用范围远超人们想象。本书将向所有对机器学习技术感兴趣的初学者展示，自己动手构建机器学习解决方案并非难事！ 书中重点讨论机器学习算法的实践而不是背后的数学，全面涵盖在实践中实现机器学习算法的所有重要内容，帮助读者使用Python和scikit-learn库一步一步构建一个有效的机器学习应用。 机器学习的基本概念及其应用 常用机器学习算法的优缺点 机器学习所处理的数据的表示方法，包括重点关注数据的哪些方面 模型评估和调参的高级方法 管道的概念 处理文本数据的方法，包括文本特有的处理方法 进一步提高机器学习和数据科学技能的建议