Transcript 1可视化介绍
数据可视化基础 陈为 2012年暑假，紫金港 [email protected] http://www.cad.zju.edu.cn/home/chenwei 内容提纲 可视化介绍 数据科学 高维数据可视化 什么是可视化？ 定义 [www.oed.com] 使某物、某事可见的动作或事实；对某个原本 眼睛不可见的事物形成一副可感知的心理图片 或视觉的过程或能力；一副因此而形成的图片. 绘制出可见图片的动作或过程. 可视化 • • • 通过使用电脑，对数据进行交互的可视表达 以增强认知 [Card, Mackinlay Shneiderman ’98] 通常被认为是一个生成图形图像的过程，实 为认知过程 – 形成某个物体的感知图像 – 强化认知理解 可视化的目的是洞悉，而非图像 – 洞察：发现，决策，解释，分析，探索， 学习 4 可视化的应用范围 • 数据分析技术 – • 数据挖掘，数据库查询，机器学习 可视化尤擅于探索性数据的分析 – – – – – – 不知道里面有什么 没有一个预先的探索假设 想知道存在那些疑问 I see what you’re saying 我明白你的意思 Seeing is believing 眼见为实 A picture is worth a thousand words 一图胜千言 5 为什么我们需要可视化 • • • • • • • • 揭示想法和关系 形成论点或意见 观察事物演化的趋势 总结或积聚数据 存档、汇整 信赖、信任、求真 传播知识 探索性数据分析 为什么我们需要可视化 • • • • • • • • • 回答问题 做出决定 在上下文里看数据 扩充记忆和内存空间 支持图形化计算 寻找模式 展示论据 讲故事 激发智力和洞察力 可视化的三个功能 • 记录信息 – • 支持对信息的推理和分析 – – – • 成像、蓝图设计、… 过程与计算 数据推理 反馈与交互 信息传递 – – – 共享与说服 协作与修正 突出数据的重要部分 信息记录 绘图：月亮周期 伽利略于1616年关于月亮 周期的绘图 http://galileo.rice.edu/sci/observatio ns/moon.html 信息记录 摄像：月亮周期 数据推理：4个数据集 X均值 = 9.0 Y均值 = 7.5 最小二乘法回归线方程 y = 3 + 0.5x 误差的平方和 = 110.0 X值的方差的回归和 = 27.5 均方误差的误差和 (相对于回归线) = 13.75 相关系数 = 0.82 11 数值表示 1 2 10.0, 8.04 10.0,9.14 8.0, 6.95 8.0,8.14 13.0, 7.58 13.0,8.74 9.0, 8.81 9.0,8.77 11.0, 8.33 11.0,9.26 14.0, 9.96 14.0,8.10 6.0, 7.24 6.0,6.13 4.0, 4.26 4.0,3.10 12.0,10.84 12.0,9.13 7.0, 4.82 7.0,7.26 5.0, 5.68 5.0,4.74 3 10.0, 7.46 8.0, 6.77 13.0,12.74 9.0, 7.11 11.0, 7.81 14.0, 8.84 6.0, 6.08 4.0, 5.39 12.0, 8.15 7.0, 6.42 5.0, 5.73 12 4 8.0, 6.58 8.0, 5.76 8.0, 7.71 8.0, 8.84 8.0, 8.47 8.0, 7.04 8.0, 5.25 19.0,12.50 8.0, 5.56 8.0, 7.91 8.0, 6.89 13 回答问题 Gallop, Bay Horse “Daisy” [Muybridge 188486] 其他记录设备 Marey’s sphygmograph脉波计, 脉搏记录仪 [from Braun 83] 支持推理分析: 挑战者号案例 1986年1月28日，美国“挑战者”号航天飞机在升空以后不久 爆炸，全世界的人们在电视机前目睹了这一悲壮的情景。这一 事件不仅再次向世人表明人类科学技术进步的艰巨与困难，也 揭示了复杂组织内部正式的传播系统是何等脆弱。这一灾难的 直接起因是两个O形橡胶圈的故障，它们是由犹他州的莫顿·塞奥 科公司（Morton Thiokol）生产的，用来密封发射器上固体燃料 箱上的接缝。“挑战者”号点火升空后，由于气温太低，发射 器上的橡胶圈无法按照设计要求迅速膨胀以弥合部件之间的缝 隙，导致大量燃气外泄，在主燃料箱上烧穿了一个洞，使这一 最先进的航天工具变成了一副燃烧的棺材。在这一显而易见的 技术问题背后，人们要追问的是组织决策问题：决策者是否知 晓相关技术信息？为何以及在何种情况之下做出了发射决定？ 也许我们不能将所有问题归咎于传播故障，但是正如“挑战者” 号事故调查总统委员会的报告所说:“信息沟通渠道的障碍导致做 出了发射的决定，这一决定建立在不完全甚至是使人容易误解 的信息基础之上”（转引自Conrad, 2001）。确实，决策失误 往往是组织的结构、传播习惯等多种问题积累的结果。 支持推理分析 决策：Challenger; 由Morton Thiokol传真到 NASA的13页纸中的2页 [Tufte 1997] 支持推理分析 Tufte教授绘制的演示低温如何摧毁O形密封 圈 [Tufte 97] 支持推理分析 Tufte教授绘制的演示低温如何摧毁O形密封 圈 [Tufte 97] 上下文中数据理解: 霍乱流行 1854 John Snow [Tufte 1983] 扩充记忆和内存空间: 乘法计算 34 x 72 68 2380 2448 图示化计算: 水的蒸发 Johannes Lambert 采用图来研究水蒸发与 温度的关系 [Tufte 1983] 图示化计算: 视觉证据 奇数的和： 1 + 3 + 5 + 7 + 9 = 52 Pythagorean 定理 中国古代的剖切证明 寻找模式: 纽约天气 New York Times 1981 展示论据:出口与进口 [Playfair 1786] 信息表达 生理卫生 [1918] 双螺旋模型 [Watson and Crick 53] 可视化研究的挑战 越来越多不可见数据 模拟数据 数字城市规划 流体模拟 可视化研究的挑战 越来越多不可见数据 实测数据 Sloan digital sky survey www.sdss.org 传感器网络[Hill 02] www.xbow.com 数字摄像仪 可视化研究的挑战 越来越多不可见数据 信息快速传播 可视化研究的挑战 越来越多不可见数据 2002年5 exabytes新信息 [Lyman 03] 2006年161 exabytes [Gantz 07] 需要新的更好的工具和算法以传播信息 注意力 “What information consumes is rather obvious: it consumes the attention of its recipients. Hence a wealth of information creates a poverty of attention, and a need to allocate that attention efficiently among the overabundance of information sources that might consume it.” ~Herb Simon as quoted by Hal Varian Scientific American September 1995 可视化研究的目标 理解可视化是如何传递给人们的 人们感知和理解什么？ 可视化是如何对应于数据的智能模型的？ 开发能有效创造可视化的原理与技术 增强认知与感知 增强可视化与数据的智能模型之间的联系 1. 数据与成像模型 [Bertin, Graphics and Graphic Information Processing 1981] 2. 好的和坏的可视化 谬误的可视化与其修正效果 3. 感知 感应功能的心理物理学 [Stevens 61] 4. 交互 FilmFinder [Ahlberg 94] 5. 空间布局 London 地铁 [Beck 33] 6. 树与图 兴趣度树[Heer & Card, 2004] 7. 颜色 [Cynthia Brewer http://www.personal.psu.edu/faculty/c/a/cab38 /] 8. 协同可视化 Sense.us [Heer 07] 9. 设计原理 测试三种组装仪器的有效性[Heiser 04] 10. 形状的表意性绘制 Lumbosacral and Sacro-iliac fusion Russell Drake, medical illustrator, Mayo Foundation, 1932. 11. 结构的表意性绘制 Principal Organs & Vascular System [Leonardo da Vinci ca. 1490] 上：世界上第一副流场可视化效果-达芬奇 下：表意性可视化NASA X38数据 12. 摄像 Shadowgraph of a .22-caliber bullet in flight Taken by an MIT freshman in 1962, in Edgerton‘s lab. NASA X38数据的模拟物理摄像实验的可视化效果。 (a) 二维平切Schlieren效果； (b)60度刀角情况下的Schlieren效果； © 圆形Schlieren效果；(d)Shadowgraphy效果 13. 过程与动作可视化 穿着纱丽 [Mijksenaar 99] 舞蹈步骤的可视化 [Tufte 90] 14. 动画 Outside-In, 几何计算中心 Textbooks Edward Tufte: Four books http://www.edwardtufte.com/tufte/ William Cleverland: The Elements of Graphing Data http://www.stat.purdue.edu/~wsc/ Leland Wilkinson: The grammar of graphics http://www.spss.com/research/wilkinson/ Pat Hanrahan: CTO of Tableau http://www.tableausoftware.com/