Transcript ������

第六章 DAI与MAS
第一节分布式人工智能(DAI)
一、基本概念
研究在逻辑上或物理上分散的智能系统如何并
行地、相互协作地实现问题求解。
第六章 DAI与MAS
第一节 分布式人工智能(DAI)
二、特点
a)系统中的数据、知识以及控制不但在逻辑上，
而且在物理上分布的，既没有全局控制，也没有全
局的数据存储。
B)各个求解机构由计算机网络互连，在问题求解
过程中，通信代价要比求解问题的代价低得多。
C)系统中诸机构能够相互协作，来求解单个机构
难以解决，甚至不能解决的任务。
注：DAI的实现可克服原有专家系统、学习系统等
弱点，极大提高知识系统的性能，可提高问题求解
能力和效率，扩大应用范围、降低软件复杂性。
第六章 DAI与MAS
第一节分布式人工智能(DAI)
三、主要内容
分布式问题求解(DPS)和多Agent系统(MAS)。
A)分布式问题求解(DPS)
主要考虑怎样将一个特殊问题求解工作在多个合
作的、知识共享的模块或结点之间划分。
B)多Agent系统(MAS)
主要研究自主的智能Agent之间智能行为的协调，
为了一个共同的全局目标，也可能是关于各自的不
同目标，共享有关问题和求解方法的知识，协作进
行问题求解。
注：基于Agent的计算将成为软件开发的下一个重
要的突破口。
第六章 DAI与MAS
第二节 分布式问题求解(DPS)
一、协作方式
任务分担(task sharing)和结果共享(results sharing)
二、求解过程
1、任务分解
2、任务分配
3、子问题求解
4、结果综合
注：1)典型的任务分解和任务分配的方法有：合同
网络(类似于“招标”)、动态层次控制、自然分解、
固定分解、部分全局规划；
2)在DPS中常用的通信方式有：共享全局存储器、
消息传递及二者的结合。
3)黑板模型是DPS中使用较多的框架结构。
第六章 DAI与MAS
第三节 Agent及多Agent系统
一、Agent
能够自主连续地在一可动态变化的、存在其它
Agent的环境中运行的，并可与环境进行交互的实
体，称为Agent。
广义地讲，Agent是具有自主性、社会能力(交互
性)和反应特征的计算机软/硬件系统。
二、简单分类
1、软件Agent
2、智能Agent
3、移动Agent
4、WebAgent
第六章 DAI与MAS
第三节 Agent及多Agent系统
三、Agent特性
1、自治性
对自己的行为和内部状态有一定的控制权。
2、社会性或称可通信性
能够通过某种Agent通信语言与其它Agent进行信
息交换。
注：任务的承接、多Agent的协作、协商等均以通
信为基础。
3、交互性
对环境的感知，并通过行为改变环境。
4、主动性
主动感知周围环境的变化，并作出基于目标的行
为。
第六章 DAI与MAS
第三节 Agent及多Agent系统
三、Agent特性
5、协作性
通过协作提高多Agent系统的性能。
6、持久性
在“相当长”的时间内连续运行。
7、自适应性
根据过去的经验积累知识，并且修改其行为以适
应新的环境。
8、情态特性
具有信念、意图、愿望等情态。
9、可推理性
可根据当前知识和经验，以理性的方式进行推理
或预测。
第六章 DAI与MAS
第三节 Agent及多Agent系统
三、Agent特性
10、可移动性
可从一个地方移动到另一个地方而保持其内部状
态不变。
注：Agent可以携带数据，且可在远处执行智能指
令。
11、诚实性
不会故意提供错误信息。
12、友善性
Agent之间不存在互相冲突的目标，总是尽力帮
助其它Agent。
13、理性
总是尽力实现自己的目标。
第六章 DAI与MAS
第三节 Agent及多Agent系统
四、主要研究内容
1、微观
Agent本身，包括Agent基本特性、相应理论、内
部实现框架。
2、宏观
Agent与环境及其它Agent的关系，包括，多Agent
系统体系结构、Agent通信语言、Agent交互与协商、
Agent协作与合作、多Agent知识交互与信息共享、
多Agent学习。
第六章 DAI与MAS
第三节 Agent及多Agent系统
五、Agent理论
1、理性Agent
只有保持信念(Belief)、愿望(Desire)和意图
(Intention)的理性平衡，才能有效地解决问题，使
理性Agent的行为符合环境的特性。其中环境特性
不仅仅指环境的客观条件，同时也包含环境中的社
会团体因素。
所谓理性Agent是指：对于每种可能的感知序列，
在所提供的证据和Agent内部知识的基础上，应该
做的动作是使该Agent的性能测度(效用，utility)为
最大。
第六章 DAI与MAS
第三节 Agent及多Agent系统
五、Agent理论
2、BDI Agent模型
3、动作理论
情景演算(Situation Calculus)是主要的描述动作的
形式逻辑框架，其中主要是使用状态和动作两个概
念，并有两条公理来描述动作与状态的关系(动作
在满足什么条件的状态下可能发生，在一个状态下
某个动作发生以后当前状态如何改变)。
第六章 DAI与MAS
第三节 Agent及多Agent系统
五、Agent理论
4、基于演算的Agent模型
演算是一种基于命名概念的并发计算模型，可
很自然地表示具有动态结构的进程内及进程间的交
互，是一种刻划通信系统的进程演算。
引入演算可用于描述Agent行为的并发性
5、次协调理论
为了克服“逻辑全知”，同时又保留合理的推理
能力。
第六章 DAI与MAS
第三节 Agent及多Agent系统
六、Agent结构
1、反应Agent(Reactive Agent)
只是简单地对外部刺激产生反应，没有任何内部
状态。
2、认知Agent(Cognitive Agent)
是具有内部状态的主动软件，与具体的领域知识
不同，具有知识表示、问题求解表示、环境表示、
具体通信协议等。
注：认知Agent是一种基于知识的系统，可包括环
境描述和丰富的智能行为的逻辑推理能力。
3、混合结构
第六章 DAI与MAS
第三节 Agent及多Agent系统
七、Agent通信
1、KQML(知识查询与处理语言)和KIF(知识交互
格式)
KQML定义了一种Agent之间传递消息的标准语
法以及一些“动作表达式”，如，Tell、Perform、
Reply等。
KIF则给信息的内容提供一种语法。
2、ACL
通过Agent的情态来描述Agent的抽象特性，即没
有预先规定任何具体的Agent执行模式和认知结构。
具体地，可包括传递的消息格式及类型含义描述和
交互协议描述。
第六章 DAI与MAS
第三节 Agent及多Agent系统
七、Agent通信
3、Speech Acts
一个Agent通过交互影响另一Agent的动作并改变
相应Agent的认知结构，称为Speech Act理论。这相
当于一个在说，另一个在听，其中有一个Agent称
为Speaker，另一个称为Listener。其种类有：命题、
命令、承诺、表达、描述。
注：1)Speech Act总是假设对Listener的知识有影响
2)可将Speech Act看成Listener的动作
Tell(, ) (是Listener)
前提：Next_to()   K(, )
删除： K(, )
增加： K(, )
第六章 DAI与MAS
第三节 Agent及多Agent系统
八、Agent的协调与协作
1、协调
是指一组Agent完成一些集体活动时相互作用的
性质。
注：1)协调是对环境的适应
2)协调一般会改变Agent的意图
3)协调的原因是由于其它Agent的意图存在
4)协调是为了解决冲突
第六章 DAI与MAS
第三节 Agent及多Agent系统
八、Agent的协调与协作
2、协作
是非对抗的Agent之间保持行为协调的一个特例。
注：1)当单个Agent无法独立完成目标，需要其它
Agent帮助时，就需要协作。
2)协作不仅能提高单个Agent以及相应多Agent系统
的整体行为的性能和解决问题的能力，而且可使系
统具有更好的灵活性。
3)通过协作，可使多Agent系统能解决更多的实际
问题，拓宽应用。
4)协作可分为协作型、自私型、完全自私型、完全
协作型和协作与自私结合型。
第六章 DAI与MAS
第三节 Agent及多Agent系统
八、Agent的协调与协作
3、基于计算生态学的协作
计算生态学是研究关于开放系统中决定计算结点
的行为与资源使用的交互过程的学科。
第六章 DAI与MAS
第三节 Agent及多Agent系统
九、协商
1、协商
在多Agent系统中，协商包含两种含义：一种是
子问题和资源的指派；另一种是Agent之间一对一
直接协商。
注：1)协商是建立在Agent通信语言之上的Agent之
间的交互机制，通过协商对于某些问题达成一致意
见
2)Agent在协商中要采取有效的协商策略，提高自
己的意见被其他Agent接受的可能性，进而使协商
的结果对自己有利
3)Agent采取的协商策略与目前对于环境和对手的
认识有关，是依赖于状态的
第六章 DAI与MAS
第三节 Agent及多Agent系统
九、协商
1、协商
在多Agent系统中，协商包含两种含义：一种是
子问题和资源的指派；另一种是Agent之间一对一
直接协商。
注：4)所有协商活动的目的是在一组独立工作的
Agent之间建立协作。
5)协商时，Agent可有自己的目标
6)协商协议要提供可能的协商形式的基本规则、协
商过程和通信基础。
7)协商策略取决于具体的Agent.
8)一个策略的好坏，环境因素是一个主要的评价指
标
第六章 DAI与MAS
第三节 Agent及多Agent系统
九、协商
2、协商过程
两个Agent x和y之间的协商过程如下：
1）x作出提议给y;
2）y评价该提议，若满意则接受，否则设计出一
个新的提议给x；
3）x重复2)的过程，直到双方满意或达到约定时
间为止。
注：1)在协商过程中，时间、代价(协商过程中的
资源开销)和对方的行为是影响协商的因素；2)协
商机制要保证单调性(逐步作出让步)、收敛性、理
性(协商的结果对于Agent而言是有利的)
第六章 DAI与MAS
第三节 Agent及多Agent系统
九、协商
3、协商方法
A)基于对策论的协商方法
以效用集为基础。
B)面向领域的协商方法
若存在双方满意的效用分配，则可得到一个联
合规划。
C)最佳平衡协商方法
所有Agent均使用最佳平衡策略。
D)集中式协商方法
用一个“master agent”或组投票机制以达成协议。
E)基于意图的协商
F)基于范例推理的合同网协商
第六章 DAI与MAS
第三节 Agent及多Agent系统
九、协商
3、协商方法
G)基于劝说的协商
一个Agent做出一个提议的同时要将该提议产生的
理由告诉接受方，这样，接受方就可理解提议方的
思维状态，进而在比较完全信息的基础上做出更好
的反应，加快协商进程。
第六章 DAI与MAS
第三节 Agent及多Agent系统
十、移动Agent
是传统的C/S分布计算的扩展方式，可以在执行
过程中，有目的地、自治地在网络中移动，利用与
分布资源的局部交互而完成分布任务的软件实体。
注：1)移动Agent是代码、数据及执行环境的软件
包；2)移动Agent在称为位置(place)的执行环境中
移动，位置提供了移动Agent执行的语境，这个语
境提供了诸如访问控制和资源限制这样的功能；
3)Telescript是比较著名的移动Agent系统。
4)便携性与安全性是对移动Agent系统的最基本的
要求，实现方案基本是利用虚拟机。
第六章 DAI与MAS
第三节 Agent及多Agent系统
十一、Agent应用
１、工作流和业务过程管理Agent
２、分布式感知Agent
３、信息检索和管理Agent
４、电子商务Agent
５、人机界面Agent
６、虚拟环境Agent
７、社会仿真Agent
８、工业控制Agent
9、机器人足球赛
第六章 DAI与MAS
第四节 WebAgent技术在电子商务中的应用
一、WebAgent
是能够以自治、主动、交互和适应方式执行功能
的Web软件程序。
二、应用方式
1、比较
价格、产品等比较
2、学习
3、协商
4、协作
5、搜索
第六章 DAI与MAS
第四节 WebAgent技术在电子商务中的应用
三、应用实例
1、协作过滤/搜索Agent
如，FastSearch，Google，NorthernLight
2、Web接口Agent
3、移动Agent
4、信息/Internet Agent
如，Dogpile，MetaCrawler，TotalNEWS
5、事件Agent
如，Mind-it，javElink，CyberAlert，Enfish
tracker，Eomonitor，MorningPaper
第六章 DAI与MAS
第四节 WebAgent技术在电子商务中的应用
四、IBM Web Browser Intelligence
1、基本框架(d)alert user
User
E
(a)monitor M
web access
The Web
G
User
model
(e)lists of new pages
A (b)cluster & extract keyword
A
Web
search
©search for new pages
E：EDIT Agent， M：Monitor Agent ,G：Generator Agent
A：Autonomous(independent of Request-Response stream)
Agent，
第六章 DAI与MAS
第四节 WebAgent技术在电子商务中的应用
四、IBM Web Browser Intelligence
2、商务应用
a)系统和网络管理
在更高抽象层次进行过滤和动作的自动执行，对
系统行为模式进行检测和响应。
B)移动访问/管理
驻留在网络中，并在数据源端进行数据处理，只
将压缩的结果传递给用户。
C)Mail和Messaging
以一定的组织方式访问邮件，而不是只访问个人
电子邮件。(Mail Agent)
d)信息访问和管理
搜索、过滤、分类、协作共享信息、注解、有选
择的信息传递
第六章 DAI与MAS
第四节 WebAgent技术在电子商务中的应用
四、IBM Web Browser Intelligence
2、商务应用
e)协作
为资源共享和组工作模式建立和管理协作组
f)工作流和监督管理
计算机/电话服务集成
g)电子商贸
买方和卖方匹配、客户支持、决策支持(E-bay、
Price、Time)等
h)自适应的用户接口
学习用户的习惯和偏爱，适应特定人员(个性化)
第六章 DAI与MAS
第四节 WebAgent技术在电子商务中的应用
五、Personal Comparison Shopping Agent
User
0
Communicate
needs
Personal
Shopper
Agent
Collect
Directory
1
2
A1
3 A2
4
6
Mailbox
5
An
第六章 DAI与MAS
第四节 WebAgent技术在电子商务中的应用
六、Agents and E-Brokers
1、E-Brokers
E-Brokers 能够根据我们的要求在规定的时间内从
最合适的地方购买货物或服务。
2、消费者的需要处理
消费者可以设置与购买决策相关的产品或服务需
求，如，价格、服务、配送时间、质量。
3、Agent处理需求的方法
使用约束满足问题求解方法。对于约束可有硬约
束(如，“我想购买一张价格不超过700元到北京的
机票”)和软约束(如，“我想要12月25日的机票，
但时间比日期更重要”)。
第六章 DAI与MAS
第四节 WebAgent技术在电子商务中的应用
七、Agent-Mediated Commerce
Matchmaker
Search
Engine
Search
Engine
Auctioneer
Seller
Negotiator
Time Planner
:individual
Buyer
Negotiator
Time Planner
:software agent
第六章 DAI与MAS
第四节 WebAgent技术在电子商务中的应用
八、基于Agent的电子商贸
在商贸活动中，买卖双方可以直接接触，进行商贸活动，
但为了提高效率和效益，还需要有中间人，如，中介公司、
超市。此时，就会涉及到三方：买方、卖方和中介。基于
Agent的电子商贸应用系统就是一个多Agent系统或一个
Agent社会，其中每个Agent要不断监察其环境，并根据相
应用户的需求进行工作。对于需要买卖货物的用户可以创
建具有自己策略倾向的Agent，并将它连接到相应Agent社
会中。买卖Agent采用的策略可包括贪心策略(非常慢地改
变自己的价格)、着急策略(非常快地改变自己的价格)和冷
静策略(适当改变自己的价格)。对于中介Agent，主要工作
就是寻找匹配可能的买者和卖者，并根据相应买卖双方的
要求进行协商。
第六章 DAI与MAS
第四节 WebAgent技术在电子商务中的应用
九、Agent与个性化
强化学习模型
Agent
状态 si
奖励 ri
动作 ai
ri+1
si+1
i: input
r: reward
s: state
s0
a0
s1
a1
s2
a2
s3
环境
a: action
Policy
Reward
Value
Model of
environment
Q-learning
Q (a,i)
U (i )  max Q(a, i )
a
Q(a, i )  R(i )   M ija max Q(a ' , j )
j
a'
Direct approach (ADP) would require learning a model M ija.
Q-learning does not:
Do this update after each state transition:
Q(a, i )  Q(a, i )   [ R(i )  max Q(a' , j )  Q(a, i )]
a'
三种观点
问题空间
主要方法
算法准则
交换状态
合作多agent
强化学习
分布、同构、
合作环境
交换经验
交换策略
提高学习收敛速度
交换建议
极小极大-Q
基于平衡解
多agent强化学习
同构或异构、
合作或竞争环境
NASH-Q
CE-Q
理性和收敛性
WoLF
PHC
最佳响应
多agent强化学习
异构、竞争环境
IGA
GIGA
GIGA-WoLF
收敛性和不遗憾性
思考题
• 分布式问题求解的基本机制是什么？其应
用关键点是什么？
• 如何认识Agent的基本特性及其应用？
• 试举例说明多Agent系统的应用及应用关键
点。