Transcript 信息技术简介PPT

信息论 --- 信息的概念
•信息是什么？
•信息论研究什么
•信息的量的度量 – 熵
•基本假说（不说 有点扯淡的话题）
•应用
信息论 --- 信息是什么？
确定性的增加---逆Shannon信息定义
物质、能量、信息的标示---Wiener信息定
义的逆
事物及其属性标识的集合 --- 其它
客观事物状态和运动特征的一种普遍形
式（客观世界中大量地存在、产生和传递着以这些
方式表示出来的各种各样的信息）
信息论 --- 研究什么（1）
信息论是运用概率论与数理统计的方法研究信息、
信息熵、通信系统、数据传输、密码学、数据压缩等问
题的应用数学学科。
信息论是一门用数理统计方法来研究信息的度量、
传递和变换规律的科学。它主要是研究通讯和控制系统
中普遍存在着信息传递的共同规律以及研究最佳解决信
息的获限、度量、变换、储存和传递等问题的基础理论。
信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信
道容量的方法信息传输和信息压缩是信息论研究中的两大领域。这
两个方面又由信息传输定理、信源－信道隔离定理相互联系。
信息论 --- 研究什么（2）
 狭义信息论是一门应用数理统计方法来研
究信息处理和信息传递的科学。它研究存在于通
讯和控制系统中普遍存在着的信息传递的共同规
律，以及如何提高各信息传输系统的有效性和可
靠性的一门通讯理论。
 一般信息论主要是研究通讯问题，但还包
括噪声理论、信号滤波与预测、调制与信息处理
等问题。
 广义信息论不仅包括狭义信息论和一般信
息论的问题，而且还包括所有与信息有关的领域，
如心理学、语言学、神经心理学、语义学等。
信息论 --- 熵的概念(1)
香农于1948年发表于《贝尔系统技术学报》上的论
文《A Mathematical Theory of Communication》（通
信的数学理论）作为现代信息论研究的开端。这一
文章部分基于哈里·奈奎斯特和拉尔夫·哈特利先前的
成果。在该文中，香农给出了信息熵（以下简称为
“熵”Entropy）的定义：
H(x)=E[I(xi)]=E[ log(1/p(xi)) ]
=-∑p(xi)log(p(xi))
(i=1,2,..n)
信息论 --- 熵的概念(2)
Shannon 指出，任何信息都存在冗余，冗余大小与信息中每个符
号（数字、字母或单词）的出现概率或者说不确定性有关。
熵度量的是消息中所含的信息量，其中去除了由消息的固有结构
所决定的部分，比如，语言结构的冗余性以及语言中字母、词的使
用频度等统计特性
Shannon 借鉴了热力学的概念，把信息中排除了冗余后的平均信
息量称为“信息熵”，并给出了上述数学表达式
一般而言，当一种信息出现概率更高的时候，表明它被传播得更
广泛，或者说被引用的程度更高。可以认为，从信息传播的角度来
看，信息熵可以表示信息的价值。
我们就有一个衡量信息价值高低的标准，可以做出关于知识流通
问题的更多推论。
信息论 --- 熵的概念(3)
信息熵：信息的基本作用就是消除人们对事
物的不确定性
一个变量的不确定性越大，熵也就越大，把
它搞清楚所需要的信息量也就越大
一个系统越是有序，信息熵就越低；反之，
一个系统越是混乱，信息熵就越高
信息熵也可以说是系统有序化程度的一个度
量。凡是导致随机事件集合的肯定性、组织性、
法则性或有序性等增加或减少的活动过程，都
可以用信息熵的改变量这个统一的标尺来度量。
信息论 --- 熵的概念(4)
互信息(Mutual Information)是另一有用的信息度
量，它是指两个事件集合之间的相关性。两个
事件X和Y的互信息定义为：
I(X,Y) = H(X) + H(Y) - H(X,Y)
其中H(X,Y) 是联合熵(Joint Entropy)，定义为：
H(X,Y) = - ∑ p(x,y)logp(x,y)
信息论 – 应用
编码学
密码学与密码分析学
数据传输
数据压缩
检测理论
估计理论