
2
|
第
1
章
随着计算能力的提高以及一些功能强大的数据分析软件的成熟,探索性数据分析迅速发
展,现在已经远远超出了它的初始范围。这门学科发展的主要驱动力在于新技术的快速发
展、更多和更大规模数据的使用,以及定量分析在各种学科中的广泛应用。斯坦福大学
的统计学教授大卫
•
多诺霍在读大学时曾经是图基的学生,他在新泽西州普林斯顿举行的
图基百年纪念活动中做了一次演讲,并在此基础上发表了一篇著名的文章
[Donoho-2015]
,
追溯了数据科学的起源,并将其归功于图基在数据分析领域所做的开创性工作。
1.1
结构化数据的要素
数据可以来自多种数据源:传感器测量、事件、文本、图像和视频,
物联网
(
Internet of
Things
,
IoT
)则源源不断地喷涌出大量信息
。多数数据是非结构化的。图像是一组像素,
每个像素中都包含
RGB
(
红、绿、蓝)颜色信息。文本是一个由单词和非单词字符组成的
序列,通常分为节、小节,等等。点击流是用户在与
app
或网页进行交互时产生的一个操
作序列。实际上,数据科学的一个主要挑战就是将原始数据转化为可以操作的信息。要使
用本书中介绍的统计学概念,就必须通过各种处理和操作,将非结构化的原始数据转换为
结构化形式。结构化数据的一种最常见的形式就是带有行和列的表,比如关系数据库中的
数据,或者为某项研究而收集的数据。
结构化数据有两种基本类型:数值型与分类型。
数值型
数据有两种形式:
连续型
,比如风
速和持续时间;
离散型
,比如某个事件的发生次数。
分类型
数据只能在一个固定集合中取
值,比如电视屏幕类型(等离子、 ...