Transcript PPT - 浙江大学计算机辅助设计与图形学国家重点实验室

远程沉浸式虚拟奥运博物馆
关键技术研究
浙江大学CAD&CG国家重点实验室
南京大学多媒体技术研究所
国家体育总局体育科学研究所
一 项目背景和研究意义(1)
• 在申奥时，提出建立“虚拟奥运博物馆”的计划[01年2月]
• 在获得奥运会主办权后，把该项目列入行动计划[01年9月]
• “虚拟奥运博物馆”是虚拟现实与数字博物馆技术的结合，它通过数字
化和网络技术，介绍奥运历史、赛事等内容。
图：位于瑞士洛桑的奥林匹克博物馆（外景）
图：位于瑞士洛桑的奥林匹克博物馆（内部）
一 项目背景和研究意义(2)
• 介绍奥运的历史、发展，让中国人更加了解奥运。
• 充分展示中华古代体育文明，让世界更加了解中国。
• 为科技奥运服务，促进一系列相关技术的发展与进步。
图：洛桑奥林匹克博物馆中关于北京的介绍
图：中国古代体育项目—马球
二 相关研究工作及存在的问题(1)
•
数字博物馆利用计算机技术，对博物馆中的展示对象进行数字化，
可以从时间、空间上对实物展品进行延伸。
•
借助三维、全景摄影等现代化手段，观众可从不同角度欣赏观察
展品。
•
数字博物馆还增加了观众的选择性，变“给你看什么就看什么”
为“我想看什么就看什么” 。
•
数字博物馆已在国内外广泛应用。
二 相关研究工作及存在的问题(2)
• 古代奥林匹克虚拟博物馆
[美国Dartmouth College]
• 奥运博物馆DVD/VCD[洛桑]
• 现有系统的不足：
* 以二维图片或视频形式展示的比较多。
* 缺乏对运动项目的虚拟展示和仿真。
图：古代奥林匹克运动场教堂遗迹
* 系统的交互性不够。
* 虚拟展品的绘制质量不高。
* 有些系统是单机运行的。
图：虚拟漫游系统
三 研究内容 (1)
1 建模与实时绘制技术
2 数字博物馆的交互技术
3 运动项目虚拟展示与虚拟人技术
4 面向数字博物馆的数据存储与检索
5 虚拟奥运博物馆原型系统
三 研究内容 (2)
1．建模与实时绘制技术
(1)几何和图像的多分辨率表示
(2)基于图像/视频的建模和绘制
(3)实时绘制算法研究
三 研究内容 (3)
2．数字博物馆的交互技术
(1)基于虚拟化身的人-机交互
(2)协同交互技术
(3)远程交互和多平台接口
三 研究内容 (4)
3．运动项目虚拟展示与虚拟人技术
(1)虚拟人体建模及参数化技术
(2)运动控制技术
(3)运动库的构建
三 研究内容 (5)
4．面向数字博物馆的数据存储与检索
(1)有效的多媒体数据存储结构
(2)基于网格环境的数据存储与管理
(3)基于内容的检索（图像、视频检索）
5．虚拟奥运博物馆原型系统
(1)基于网格环境的虚拟博物馆的体系结构
(2)虚拟奥运场馆的漫游
(3)体育运动相关游戏
四 关键问题与技术路线(1)
（1）虚拟环境的实时绘制技术
（2）虚拟奥运博物馆中的交互技术
（3）虚拟人运动控制及运动项目的逼真展示
（4）基于奥运特征的多媒体信息的高效存储与检索
（5）虚拟奥运博物馆的体系结构及原型系统的实现
四 关键问题与技术路线(2)
（1）虚拟环境的实时绘制技术
* 对复杂场景使用基于图像的绘制技术，包括全景图和基于单张照片的漫游；
* 使用基于视频的绘制技术，合成任意视点的图象，满足交互和个性化需求；
* 使用多细节层次模型和GPU的方法来加快绘制速度。
（2）虚拟奥运博物馆中的交互技术
* 在系统中提供一个虚拟向导，她负责导引用户在虚拟环境中进行浏览，可以与
虚拟化身（代表用户）进行交互。
* 考虑到多个用户有时需要相互对话和讨论，将VRML技术与Java等其它技术
结合，提高Internet环境下协同环境的交互性。
四 关键问题与技术路线(1)
（3）虚拟人运动控制及运动项目的逼真展示
* 从多种数据源（三维扫描仪器、交互式造型工具、照片）建立人体模型；
* 基于运动捕获数据的运动控制方法；
* 建立运动信息库，并对运动项目进行模拟。
（4）基于奥运特征的多媒体信息的高效存储与检索
* 作为现有博物馆的藏品，其描述是非常准确和充分的。因此，大部分信息
检索需求可以通过对藏品标注的信息进行全文检索处理来服务。
* 根据奥运媒体内容的特殊性，选择一套独特的特征集合，来完成基于内容
的信息检索处理。
四 关键问题与技术路线(4)
四 关键问题与技术路线(1)
（5）虚拟奥运博物馆的体系结构及原型系统的实现
* 综合利用原始录像资料、动画、多语言解说、互动点播等多种手段，以三条
线性内容(时间线、事件和人物线、 文物和艺术品线)为观众进行展示。
* 开发普适性的三维展厅生成工具，提供一种信息集成的手段，同时与页面、
视频、声音、动画等其它媒体展现方式有机融合。
* 利用Globus提供的网格支持提供自治的资源管理和任务调度机制；使用多
种数据网格技术，开发适用于虚拟博物馆数据分布存储的数据网格中间件。
* 考虑到不同系统的带宽以及登录设备的特性（如屏幕大小，分辨率，计算
速度等），需要支持特定于设备类型的远程交互机制。
五 特色和创新之处
（1）基于视频的任意视点的场景漫游。系统允许用户从多个视点观
看比赛场景，增加用户对比赛的体验。
（2）运动项目的逼真展示。基于虚拟人及其运动控制技术，对多种
运动项目进行交互式的虚拟展示。
（3）支持多平台的接入设备。在使用PC平台时，为了增加虚拟奥运
场景的真实感，提供基于GPU的实时阴影生成。
（4）友好的用户界面和交互性。Avatar使得界面人性化，交互更具
亲切感；另外，还多个用户的支持协同交互。
（5）集知识介绍、运动体验和娱乐于一体。在介绍具体项目时，增
加一些游戏特征，做到寓教于乐。
六 年度研究计划及预期成果(1)
2006年度：
（1）对本项目研究进行需求分析，总体规划和可行性分析
（2）设计虚拟奥运博物馆的体系结构
（3）设计有效的多媒体数据存储结构
（4）研究基于流媒体技术的多媒体数据播放
（5）研究基于内容的检索(图像，视频)
（6）基于网格的分布数据存储管理和可视计算
(7) 在2006年虚拟系统与多媒体国际会议VSMM 2006上组织一个有关数
字博物馆的专题讨论会
六 年度研究计划及预期成果(2)
2007年度：
（1）
几何和图像的多分辨率表示
（2）
实时绘制和阴影算法研究
（3）
虚拟人体建模及参数化技术
（4）
运动控制，行为动画与虚拟人群仿真
（5）
体育运动相关游戏
（6）
实现虚拟奥运博物馆原型系统（第一版）
六 年度研究计划及预期成果(3)
2008年度：
（1） 基于视频的建模和绘制算法
（2） 虚拟化身技术的研究
（3） 协同交互和远程交互技术
（4） 实现虚拟奥运博物馆原型系统（第二版）
（5） 基于主动兴趣管理的可扩展性技术
（6） 几何数据压缩与实时图形传输
六 年度研究计划及预期成果(4)
2009年度：
(1) 奥运场馆漫游系统
（2） 分布式并行绘制算法的研究
（3） 体育运动库的构建
（4） 虚拟奥运博物馆原型系统的完善
（5） 整理资料，进行项目的总结、验收或鉴定
（6）组织一次虚拟奥运博物馆的国际研讨会
六 年度研究计划及预期成果(5)
预期研究成果：
(1) 在理论和算法方面
争取在理论的原始创新方面取得重大突破，获得多项目原创性研究成果，
为数字博物馆提供可供参考的理论、方法与技术实施方案。具体的研究成
果集中表现为高质量的学术论文、专著以及专利。
（2）在系统开发方面
建立起一个支持远程交互的虚拟奥运博物馆原型系统。原型系统的建立将
为验证本项目研究方案、方法的可行性和有效性提供实验环境。结合2008
北京奥运会，从其他渠道争取更多的经费，使虚拟奥运博物馆向实用化方
向发展。
七 研究基础与工作条件
1 研究队伍
总计：参加人员共20人，其中教授和博导5人，副教授 4人]
主要人员：
潘志庚，男，1965生，博士，浙江大学CAD&CG国家重点实验室研究员，博导。
石教英，男，1937年生，浙江大学CAD&CG国家重点实验室教授，博导。
孙守迁，男，1963年生，博士，浙江大学现代工业设计研究所所长，教授，博导。
潘金贵，男，1952年生。南京大学多媒体计算机研究所教授，博导。
金小刚，男，1968年生，博士，浙江大学CAD&CG国家重点实验室研究员，博导。
武港山，男，1966年生。博士，南京大学多媒体计算机研究所副教授。
李祥臣，男， 1974年生， 硕士，副研究员，国家体育总局体育系统仿真实验室
张 林，男， 1955生， 浙江大学体育系副教授，硕士导师。
姜晓红，女，1966年生，博士，浙江大学计算机系副教授。
七 研究基础与工作条件
2 工作基础（浙江大学）
* 从1993年开始研究虚拟现实、分布式虚拟环境和实时图形绘制，取得众多研究
成果，发表一批高水平的国际期刊论文，在国内居于领先水平。
* 近年来先后共承担国家自然科学基金、国家973计划子课题、国家863计划等研
究项目10余项目，为开展本项目的研究打下了很好的基础。
* 国家体育总局备战2008年奥运会重点科研攻关项目“艺术体操集体项目成套动
作编排价值与创新的研究”中关于虚拟人的研究为本项目提供了前沿性的探索
研究。
* 和国家体育总局体科所的研究人员合作，研究开发了多个与体育有关的产品原
型系统，包括虚拟保龄球系统、CAVE中的虚拟乒乓球，移动平台上的台球游戏，
大型团体操虚拟演练系统。
七 研究基础与工作条件
2 工作基础（浙江大学）
* 在人体动画和虚拟人运动编辑平台方面，也开展了一些研究工作，实现了多种
动作生成算法，并实现了一个简单的虚拟人运动编辑平台。
* 浙大体育系在体育运动的虚拟展示、多媒体教学光盘的设计等方面有很好的基
础。开发了篮球、排球等多个项目的多媒体光盘，在全国发行。
*浙江大学在1999年建成国内第一家CAVE，并自行研制了基于高性能连网PC的多
屏幕投影虚拟环境，并实现了虚拟博物馆原型系统。
七 研究基础与工作条件
2 工作基础（南京大学）
* 从2000年开始研究直观方便的三维对象操纵技术以及虚拟空间漫游技术，并
在此基础上开发了虚拟展览馆软件，该软件为展览馆提供了平面布局、展厅
布置、展品管理以及虚拟参观和交互四大功能。
* 参与“中国大学数字博物馆关键技术研究”项目的过程中，进一步将虚拟展
览馆软件开发成有机融合图形图像、语音解说、网页等各种媒体形式与三维
展馆空间等表现方式的集成工具 。
* 负责863项目“面向奥运的多语言信息服务系统专题中面向内容管理的Web页
面智能处理技术子项”。
* 参与了2005年教育部科技基础条件平台项目“中国大学数字博物馆共享平台
和规范标准”，提出了多个领域大学数字博物馆建设的规范和标准。这对虚
拟奥运博物馆的关键技术研究和开发具有很好的借鉴作用。
七 研究基础与工作条件
2 工作基础（国家体育总局体育科学研究所）
* 针对科技奥运专门在2001年成立“体育系统仿真实验室”，该实验室这几年
和浙江大学开展合作，从事多项与体育科学及科技奥运有关的课题 。
* 完成或开展的项目包括2008奥运会现代组织管理系统工程研究、艺术体操集
体项目计算机编排系统、人体重心平衡测量分析与虚拟训练系统的研制、虚
拟自行车训练系统、帆船帆板辅助训练系统等。
七 研究基础与工作条件
3 项目组主要成员负责或参与完成的相关项目
潘志庚: 欧盟科技合作项目，“基于虚拟人物的电子学习环境”，2003-2004（中
方负责人）
• 潘志庚:国家自然科学基金，“智能虚拟环境中用户化身和行为真实感技术的研究”
（60083009）， 2001-2003， 负责人
• 潘志庚:国家自然科学基金，“虚拟现实中动态实时连续LOD技术的研究”，19982000，负责人
• 潘志庚:国家自然科学基金，“分布式环境下限时图形绘制技术的研究”，19951997，负责人
• 潘志庚:浙江省自然科学基金优秀人才专项，“智能多用户虚拟环境”，20012003，负责人
• 石教英：国家自然科学基金重点项目，“基于图像的绘制技术”，2001-2004，负
责人 石教英，国家自然科学基金重点实验室项目，“分布式虚拟环境关键技术和应用
研究”，1999-2001，排名第二
• 孙守迁：虚拟人运动控制系统，运动编辑软件V1.0，计算机软件著作权，登记号：
软著登字第027384号，版权号：2004SR08983
•
七 研究基础与工作条件
七 研究基础与工作条件
潘金贵：南京大学地球科学数字博物馆，现代远程教育网上公共资源建设—大学
数字博物馆建设工程，2001中央财政专项 （负责三维博物馆设计软件）
• 武港山：面向内容管理的Web页面智能处理技术，2002年863项目：奥运多语言智
能信息服务系统关键技术及示范系统研究(2002AA117010)的子项，负责人
• 武港山：面向远程教育的Web教学资源智能化检索与挖掘技术， 国家教育部现代远
程教育关键技术研究， 2000年，负责人
• 武港山：南京大学地球科学数字博物馆建设， “现代远程教育工程”中央财政专
项， 2001年，负责项目中的信息检索技术研究开发
• 武港山：863重点课题“智能中文信息处理平台”的子课题（2001AA114040），
2001-2003年，子课题负责
• 金小刚：国家自然科学基金，“卷积曲面在计算机动画中的应用研究”
（69973040），2000.01-2002.12
• 金小刚：国家自然科学基金，“基于几何和拟动力学约束的变形研究”
（69603005），1997.01-1999.12
• 李祥臣：艺术体操集体项目计算机编排系统，2003年总局攻关课题，负责人
•
七 研究基础与工作条件
七 研究基础与工作条件
4 项目组主要成员发表的相关研究论文
[共发表相关论著58篇，其中国际期刊论文31篇，SCI论文23篇]
• Zhou Kun, Bao Hujun, Shi Jiaoying, “3D surface filtering using spherical
harmonics”, Computer Aided Design, 2004, 36(4): 363-375 (国际期刊，SCI)
• Mingmin Zhang, Zhigeng Pan, Pheng-Ann Heng, “A Near Constant Frame-Rate Rendering
Algorithm Based on Visibility Computation and Model Simplification” ， Journal of
Visualization and Computer Animation, 2003, 14(2/3):1-13 (国际期刊，SCI)
• Mei Chunhui, Shi Jiaoying, Wu Fuli, “Rendering with spherical radiance transport
maps”, Computer Graphics Forum, 2004, 23(3): 281-290 (国际期刊，SCI)
• Xiaogang Jin, Chiew-Lan Tai, “Convolution Surfaces for Arcs and Quadratic Curves
with a Varying Kernel”, The Visual Computer, 2002, 18(8): 530-546 (国际期刊，SCI)
• Jieqing Feng, T. Nishita, Xiaogang Jin, Qunsheng Peng, “B-Spline Free-Form
Deformation of Polygonal Object as Trimmed Bezier Surfaces”, The Visual Computer,
2002, 18(8): 493-510 (国际期刊，SCI)
• Zhigeng Pan, Jiaoying Shi, Mingmin Zhang, “Distributed Graphics Support for
Virtual Environments”, Computers & Graphics, 1996, 20(2): 191-197(国际期刊，SCI)
• Zhigeng Pan, Jiejie Zhu etc. “Interactive Learning of CG in Networked Virtual
Environments”. Computers & Graphic, 2005, 29(2): 273-281 (国际期刊，SCI)
七 研究基础与工作条件
七 研究基础与工作条件
• Ji Zhou and Jiaoying Shi, “A robust algorithm for feature point matching”,
Computers &Graphics, 2002, 26(3): 429-436 (国际期刊，SCI)
• Xiaogang Jin, Hanqiu Sun, Qunsheng Peng, “Subdivision interpolating implicit
surfaces” Computers & Graphics, 2003, 27(5):665-674(国际期刊，SCI)
• Zhigeng Pan, Qingge Ji, Mingmin Zhang, Yanfeng Li, “Simulation on pattern design
and layout for group calisthenics and eurhythmics”, Simulation & Gaming, 2005
(Accepted) (国际期刊，SCI)
• Shengyou Lin, Jiaoying Shi. “Fast Natural Image Matting in Perceptual Color Space”,
Computers & Graphics(已录用) (国际期刊，SCI)
• Zhigeng Pan, Weiwei Xu, Jin Huang, Mingmin Zhang, Jiaoying Shi. “EasyBowling: A
Virtual Bowling System based on Virtual Simulation”, Computers & Graphics ， 2003,
27(2):231-238(国际期刊，SCI)
• Kangkang Yin, Zhigeng Pan, Jiaoying Shi, “Robust Mesh Watermarking based on
Multiresolution Processing”, Computers & Graphics, 2001,25(3): 409-420 (国际期刊，SCI)
• Xiaogang Jin, Chiew-Lan Tai, “Analytical Methods for Polynomial Weighted
Convolution Surfaces with Various Kernels”, Computers & Graphics, 2002, 26(3): 437447(国际期刊，SCI)
• Xiaogang Jin, Chiew-Lan Tai, Jieqing Feng, Qunsheng Peng, “Convolution Surfaces
for Line Skeletons with Polynomial Weight Distributions”, Journal of Graphics Tools,
ACM Press, 2001, 6(3):17-28 (国际期刊)
七 研究基础与工作条件
七 研究基础与工作条件
5 工作条件
*
•浙江大学的课题组的成员来自于浙江大学CAD&CG国家重点实验室、
浙江
大学现代工业设计研究所和浙江大学体育系。可以利用实验室现有的高性能
工作站、先进的虚拟现实设备(如四面投影的CAVE、各种跟踪设备) 、浙大
工程计算中心的网格计算环境、运动捕获设备和相关的人体动画软件。
* 南京大学的课题组所在实验室有着良好的网络条件，所有主机均已连入教育
网，部分主机直接与互联网相连。另外还有多媒体卫星远程教学设备一整套，
包括卫星设备、视频设备、工作站以及一台网络服务器。
* 国家体育科学研究所在2001年投资200多万专项经费建设体育系统仿真实验
室，目前拥有多种体育测试平台，并自行开发了一些一起设备。另外，还订
购了VICON运动捕获设备和大屏幕虚拟环境显示设备。
七 研究基础与工作条件
七 研究基础与工作条件
 其他例子或演示
谢谢！