Transcript 大数据时代系统工程面临的机遇与挑战

大数据时代系统工程面临的机遇与挑战
谭跃进
教授
国防科技大学信息系统与管理学院
[email protected]
大数据时代系统工程面临的机遇与挑战
移动大数据在海地大地震应急救援管理决策中的应用；
基于大数据的航天装备的健康管理与寿命预测研究；
湖南永州市公安局利用监控和移动通信数据进行破案；
TCL公司研究院利用电视终端设备收集用户使用信息，
进行新产品开发；
 美国棱镜计划对国家安全与反恐维稳情报体系建设的启
示；
 网络舆情分析和实时情景态势感知的突发事件应急管理
与决策；
 2015年国家自然科学基金委管理学部的重点项目投票
……




主要内容
一、大数据时代系统工程面临的机遇
二、大数据时代系统工程面临的挑战
一、大数据时代系统工程面临的机遇
关于大数据 (big data)
 大数据指的是所涉及的资料量规模巨大到无法透过目前
主流软件工具，在合理时间内达到撷取、管理、处理、
并整理成为帮助企业经营决策有更积极目的的资讯。大
数据的4V特点：Volume（大量）、Velocity（高速）
、Variety（多样）、Value（价值密度低）。
 大数据已成为互联网信息技术行业的流行词汇，已成为
未来“十三五”和2030年前我国重点发展的十大科技领
域之一。
 大数据技术的战略意义不在于掌握庞大的数据信息，而
在于对这些含有价值的数据进行专业化处理，通过“加
工处理”实现数据“增值”。
一、大数据时代系统工程面临的机遇
关于大数据 (big data)
 大数据可分为大数据技术、大数据工程、大数据科学和
大数据应用等领域。大数据的来源包括网络日志、RFID
、传感器网络、社会网络、手机呼叫详细记录、社会数
据、互联网文本和文件、互联网搜索索引、天文学、大
气科学、基因组学、生物和其他复杂的、跨学科的科研
、军事侦察、能源、交通、医疗记录、教育、社会管理
、企业组织内部数据、摄影档案馆视频档案、大规模的
电子商务等。
 大数据从”结构化”数据发展变化到图片、视频、互动
、三维等大量形态各异的”非结构化”数据，与事件、
社会情绪等诸多不可预测的因素有关，如同控制我们情
绪的右脑。
一、大数据时代系统工程面临的机遇
“The use of big
data
in the development world is in its early days
but it signals a new era in which technology could transform
the way international public sector organisations approach their
work.”
Financial Times, Nov 14, 2013
大数据的应用在现代社会中还处于起步阶段，但他寓示
了一个新时代的到来：即大数据技术将彻底改变公共部门的
管理和运作方式。
金融时报，2013年11月14日
一、大数据时代系统工程面临的机遇
值得注意的是，中国现代化建设中的很多复
杂问题（或系统），如能源、交通、医疗卫生、
科技教育、社会保障、环境保护、城市建设、企
业管理、信息网络管理、社会管理、国防与军队
建设管理等问题，用传统方法很难以解决或成本
太高，而基于大数据（证据）的分析和决策有可
能是解决此类问题的选择。这些问题正是现代化
带来的复杂系统问题，也是系统工程要努力解决
的问题。因此，我们进入“互联网-大数据时代”
的同时，我们也迎来了系统工程时代！
一、大数据时代系统工程面临的机遇
案例一：移动大数据在应急管理中的应用
全球每年约有2.58亿人受到如台风、地震、
洪水、干旱等自然灾害的影响，大部分自然灾害
最直接的后果是导致人口移动和迁徙，社会管理
系统趋于瘫痪，大量救援物资无法及时、准确分
发给灾民。
地海大地震
手机数据辅助定位灾民移动和分布
• MOU & NDA with
Digicel Haiti（地海）
• 约 10亿条通话记录!
• 数据库文件 250GB
• 单个文本文件25GB
震后灾民流动情况分析：人群行为动力学分析
Improved Response to Disasters and Outbreaks by Tracking Population Movements with Mobile Phone Network Data: A PostEarthquake Geospatial Study in Haiti. PLoS Medicine, 2011; 8 (8): e1001083 DOI: 10.1371/journal.pmed.1001083
移动轨迹预测方法
Improved Response to Disasters and Outbreaks by Tracking Population Movements with Mobile Phone Network Data: A PostEarthquake Geospatial Study in Haiti. PLoS Medicine, 2011; 8 (8): e1001083 DOI: 10.1371/journal.pmed.1001083
霍乱感染地区人口流动及风险评估
基于移动数据的传
染病预防与管控
Improved Response to Disasters and Outbreaks by Tracking Population Movements with Mobile Phone Network Data: A PostEarthquake Geospatial Study in Haiti. PLoS Medicine, 2011; 8 (8): e1001083 DOI: 10.1371/journal.pmed.1001083
数据分析报告提交联合国救援组织
FLOWMINDER.ORG
Copyright © 2013 Flowminder.org. For internal use only.
国际媒体关注
Copyright © 2013 Flowminder.org. For internal use only.
一、大数据时代系统工程面临的机遇
案例二：基于大数据的载人航天系统评价与决策分析
天宫一号目标飞行器的控制力矩陀螺（CMG）
 性能（退化）数据趋势分析
 数据的关联性分析（飞行器姿态数据、空间位置数据、周
边局部温度数据等）
 基于数据的故障预测
 基于数据的寿命预测
 基于数据的故障处理决策支持
 利用数据验证拓展人工管理经验。
一、大数据时代系统工程面临的机遇
案例二：基于大数据的载人航天系统评价与决策分析
描述统计量
N
极小值
极大值
均值
标准差
CMG2框架角速度指令
3601
-.0360
.0396
-.001714
.0123763
CMG2框架角度
3601
-169.15649
-150.28747
-162.9417330
6.50066428
CMG2转子转速脉冲数
3601
1424
1425
1424.42
.493
CMG2工作状态
3601
238
238
238.00
.000
CMG2自检状态
3601
12
12
12.00
.000
CMG2转子电机电流
3601
1.82000005
1.91999996
1.8522854966
.02217410613
CMG2+45V电源状态
3601
4.48000002
4.50000000
4.4939794562
.00917535759
CMG2固紧端轴温
3601
2.20000005
2.22000003
2.2060594719
.00919212637
CMG2滑动端轴温
3601
2.24000001
2.25999999
2.2599944360
.00033328671
CMG2+12V电源状态
3601
4.26000023
4.26000023
4.2600002300
0E-11
CMG2转子电机电压
3601
3.94000006
3.96000004
3.9599944860
.00033328671
CMG2+2.5V电源状态
3601
2.48000002
2.50000000
2.4800222360
.00066629563
CMG2框架电机电流
3601
.039999999
.159999996
.08141071850
.024648831419
CMG2框架电机电压
3601
4.21999979
4.21999979
4.2199997900
0E-11
CMG2选通状态
3601
0
0
.00
.000
CMG2粗正弦信号
3601
2.05999994
2.46000004
2.3216051267
.13872510644
CMG2粗余弦信号
3601
1.4
1.6
1.452
.0504
奇异测度sm
3601
.997
3.913
2.57486
1.027585
姿态控制管理状态
3601
204
204
204.00
.000
三轴角动量偏差DHsatx
3601
-4.92
9.12
.0874
3.90774
三轴角动量偏差DHsaty
3601
-7.24
24.24
4.2136
9.46642
三轴角动量偏差DHsatz
3601
-1.16
19.28
6.8585
5.97848
有效的 N （列表状态）
3601
提出了基于数据趋势变化的故障预
测方法和性能退化的寿命预测方法。
一、大数据时代系统工程面临的机遇
这些案例告诉我们，基于大数据我们能够迅速、直
观、理性地对复杂系统或问题进行分析、预测、评估、
决策和实施管理，即“基于数据（或证据）的决策”而
不是靠似是而非的“理论”、基于过多假设的“模型”
的决策或“事后诸葛亮”。
美国前白宫经济委员会主任、哈佛大学教授
Lawrence Summers所认为的，“我们正处在历史的
转折点，200年后的人书写我们这段历史时，他们会发
现我们所处的时代人类思考方式发生了重大的变化，那
就是我们比以往任何时代在更多事情上变得更加理性，
我们更多以数据为依据分析思考问题。”
一、大数据时代系统工程面临的挑战
从方法看挑战：系统工程方法可大致分为
(1)社会调查与统计分析方法（含实证分析方法）；
(2)系统分析方法；
(3)预测分析方法；
(4)系统评价方法；
(5)运筹学(最优化)方法（含智能优化）；
(6)仿真建模分析方法；
(7)网络建模分析方法（含社会网络计算）；
(8)大数据建模分析方法（含数据挖掘、证析）。
一、大数据时代系统工程面临的挑战
从解析建模、仿真建模、大数据建模的发展中，后者
都需要前者。如仿真建模中需要局部的解析建模，仿真结
果分析需要统计分析和系统评价；大数据建模中需要解析
建模，也需要仿真建模，而且是其中的重要组成部分。因
此，如果我们结合中国的管理现实需要和热点问题，把传
统的方法与大数据、云计算、物联网、网络科学、社会网
络、数据挖掘、证析、仿真、社会计算等有机结合起来，
可以得到很多有用的新方法。如大数据、社会网络的统计
分析与预测；物联网环境下数据驱动的在线优化与动态决
策等。
一、大数据时代系统工程面临的机遇
(1)社会调查与统计分析方法
(2)系统分析方法
(3)预测分析方法
(4)系统评价方法
(5)运筹学方法
(6)仿真建模分析方法
(7)网络建模分析方法
(8)大数据建模分析方法
传统方法
结合、创新
新的方法
一、大数据时代系统工程面临的挑战
网络科学（ network science）
 研究内容：测量网络数据、发现网络性质、建立网络模
型、分析网络行为、设计与控制网络性能。
 发展应用：社会网络与大数据分析相结合，为分析复杂
的社会系统提供了有力的工具，在社会学、管理学、经
济、国家安全等领域将得到广泛应用。
网络建模分析方法
测量网络数据
发现网络数据
建立网络模型
分析网络行为
控制网络功能
一、大数据时代系统工程面临的挑战
证析：基于证据的决策(analytics，不同于analysis )
 定义：是用数学、运筹学、统计学影响商业决策的一种
方法。“证”是证据的证，这个证据更多强调的是定量
的证据，也就是数据；“析”仍然是分析的析，分析数
据以产生新的影响决策的证据。因此，证析就是指对量
化证据进行分析以影响决策的实践。
 背景：证析是学科和时代发展到现阶段的新产物，驱动
力来自业界通过收集和分析数据以从中获得最大化的价
值的努力，业界利用数据指导从产品设计、物流规划到
推广营销的一系列决策。大数据为analytics 提供了技术
基础，数学、运筹学、统计学和计算机科学的发展为
analytics 提供了分析数据的手段。以Analytics为名的
杂志也于2008年正式发行。
一、大数据时代系统工程面临的挑战
证析的研究内容和步骤：
 １、需求分析：证析是为解决业务问题、提升业务决策
服务的，所以要分析客户的问题和需求是什么。
 ２、决策流程分析：企业通过其价值链实现客户价值，
企业为实现价值、获取利润需优化价值链中各个环节的
决策，因此，企业业务流程中的决策流程的决策效果是
证析项目的主要目标。
 ３、数据管理：从各个来源抽取与搜集数据、建立数据
仓库、管理数据是证析项目的基础和重要组成部分。
 ４、度量：度量指标决定了证析项目所需要优化的决策
目标。
 ５、探索性数据分析与数据可视化。
 ６、提出假设，发现模型、关联与模式。
一、大数据时代系统工程面临的挑战
证析的研究内容和步骤：
 ７、检验与评价：假设成立与否需要使用数据并利用统
计方法进行检验。
 ８、形成理论与洞察：利用人的归纳和推理能力，对数
据的产生机理做出猜测，从而形成理论。
 ９、推理与优化：利用专家系统中的自动推理规则和搜
索优化算法。
 １0、干预与解决方案设计：包括产生创意、细化创意、
选择方案等。
 １1、仿真与实验：相关性并不等同于因果性。
 １2、应用与推广（实施决策）。
 １3、监控与持续的改进。
一、大数据时代系统工程面临的挑战
实际上，大数据、物联网、云计算、网络科学、社
会网络、数据挖掘、证析、仿真、计算实验等都有很密
切的关系：
1、大数据挖掘、开源情报分析
2、大数据与证析（基于证据的决策）
3、大数据分析与仿真验证
4、大数据分析与云计算
5、大数据与网络科学研究
6、大数据与社会网络分析
7、大数据与计算实验
结论：研究方法的选取大多与研究对象的结构化、关联
性和数据多少有关。总的发展趋势是数据越来越多，问
题越来越非结构化，关系越来越复杂和网络化。
一、大数据时代系统工程面临的挑战
从复杂系统研究看挑战：
 关于复杂系统的特性，主要表现为：以非线性为核心，由
此推演出复杂系统的整体性、自主性、关联性、涌现性和
多样性等特性。
 大数据时代追求的“不是随机样本，而是全体数据”。全
体数据正好刻画了复杂系统的整体。
 小数据时代，万事都要追问个“为什么”，总想弄清事物
之间的微观因果关系。
 大数据时代，只要存在的就是合理的，只问“是什么”，
不问“为什么”，对事物之间的关系不一定要求弄清因果
细节，但要求弄清那些宏观上会引起变化的数据之间的关
联关系。因此，在大数据时代，我们追求的“不是因果关
系，而是相关关系”。这里的相关关系正好反映了复杂性
科学中的关联性和非线性特征。
一、大数据时代系统工程面临的挑战
基于多Agent的智能交通系统
交互
实际系统
人工系统
最新应用：手机数据+卫星地图
大数据是最接近映射真实世界的手段
各种大数据背后的复杂系统管理
数据类型一：社会网络抽样数据，管理：网络大数据与社会管理
数据类型二：手机定位与移动通话数据，管理：交通、救援、公安
数据类型三：卫星图像数据，管理：侦察、态势分析、大气科学等
数据类型四：人口数据，管理：人口管理、城镇化建设管理等
数据类型五：在线社会网络数据，管理：舆情、开源情报分析等
数据类型六：教育、市场与医疗数据，管理：医疗、教育管理等
数据类型七：犯罪数据、警局报告数据，管理：团伙犯罪网络分析
数据类型八：物联网数据，管理：信号监测与食品安全管理等
数据类型九：组织结构、经济发展数据，管理：组织演化规律研究
数据类型十：人力资源数据，管理：人力资源结构、更替规律分析
一、大数据时代系统工程面临的挑战
从复杂系统研究看挑战：
因此，大数据技术是复杂性科学的
技术实现，大数据分析方法是复杂系统
规律挖掘与行为预测的有效方法，数据
驱动的复杂系统研究前途广阔。
大数据环境下的社会管理与计算实验
论 坛