摘 要:不同类型的视频具有不同的内容和不同的内容组织结构。针对视频类模拟仿真培训系统的开发现状及存在的问题,提出通过引入视频结构挖掘思想方法,对培训系统的视频数据进行进一步挖掘,以解决培训系统中人机交互智能化问题。首先对培训系统的视频结构进行规范化定义,结合视频结构挖掘的概念框架,提出改进模拟仿真培训系统的视频结构框架,最后阐述了应用该结构框架进一步对培训系统的视频数据进行挖掘的基本方法。改进方案的分析过程表明,该改进方法应用于培训系统可以优化此类系统的视频单元结构,进一步挖掘其高层语义信息,提升培训系统的智能化,对此类系统培训方案的制定和培训质量的改善具有理论指导意义。关键词:视频数据; 视频结构挖掘; 模拟仿真; 培训系统
中图分类号:TN941-34文献标识码:A
文章编号:1004-373X(2010)16-0146-03
Improvement of Simulation Training System by Video Structure Mining Method
CHEN Zhen1, CHENG Jia-cheng2
(1. College of Information and Control Engineering, China University of Petroleum, Dongying 257061, China;
2. Petrochina Beijing Marketing Company, Beijing 100101, China)
Abstract: The content and the structure of the video vary with the video type. The video data of the training system can be further mining by introducing the idea of video structure mining to solve the human-computer interaction problems for the present state and the problems of simulation training systems. The video structure of the training system was defined and the improvement of the video structure framework of the available simulation training systems is proposed in combination with the concept framwork of the video structure mining. Under this framework, the improvement methods can optimize system structure, obtain the high level semantic information,make the system more intelligent andprovide the instruction for dicision of the training approach or improvement of the training quality.Keywords: video data; video structure mining; analog simulation;training system
0 引 言
计算机仿真技术和可视化技术的应用[1-2] 在模拟仿真培训系统中可以带来巨大的社会效益和经济效益。随着计算机的发展和图形技术的进步,模拟仿真培训系统要求仿真可视化更加直观、逼真和具有良好的人机交互能力。本文尝试以基于视频的模拟仿真培训系统为研究对象,通过挖掘其视频结构中语法模式和语义规则,合理优化培训系统视频单元结构,为提升培训质量提供理论指导。
原始视频是一种非结构化时基媒体,通过视频的结构化可以实现计算机的有效管理、访问和检索。传统基于视频的模拟仿真培训系统采用常规的视频结构化方法,即仅采用视频的基本结构,而缺乏视频的结构语义描述,这种视频结构化存在高层信息处理方面的缺点,难以提升此类系统的人机交互智能化水平。
通过视频挖掘方法发现,原始视频所蕴含的基本结构、镜头语法、场景语法表征视频的语法模式;通过抽取的视频特征类关联规则和与时间相关的事件关联规则表示视频包含的结构语义。这些视频结构知识可以用于视频数据库的组织与管理、基于内容的个性视频推荐、基于语法和语义的视频摘要等视频数据的处理当中,因盯以可有效解决人机交互的智能化问题。
1 视频结构挖掘的概念框架[1-2]
视频的基本结构(如图1所示)是由帧、镜头、场景、视频组成的基本层次结构,在基本层次结构之上,还有视频语法结构(如视频编辑语法、视频单元之间的关联语法等)和视频语义结构(如视频中的精彩镜头、事件、户内/户外场景等),以及视频中的主要对象。结合视频语法和语义,视频结构一方面是由帧、镜头、场景、视频组成的层次关系,同时更重要的是隐藏在基本结构之中的语法结构知识和语义结构知识(系统总体框架如图1所示)。
图1 视频挖掘系统总体框架
2 基于视频结构挖掘技术的培训系统框架
2.1 培训系统视频基本结构挖掘
对于模拟仿真培训系统,结合需求及功能,考虑定义其视频基本结构(如图2所示)如下:
(1) 视频V。定义为一个完整的培训系统,由n个场景组成,具有表征整个视频V的m个属性特征;
(2) 场景C。定义为培训系统(即视频V)中包含的培训项目,每个场景C针对不同培训类型的培训人员;
(3) 镜头S。定义培训项目(即场景C)中包含的培训操作内容,每个镜头S针对相同培训类型的培训人员。
(4) 关键帧F。定义培训操作内容(即镜头S)中包含的操作步骤所对应的特征帧F。
图2 基于视频结构挖掘技术培训系统框架
2.2 培训系统视频语法挖掘[1-5]
视频语法挖掘方法是根据前面视频基本结构的相关定义,从视频基本结构中挖掘出视频结构构造模式的过程,探索视频结构和特征(指表征视频V的m个属性特征)的关系,主要有镜头S(即培训操作内容)的构造模式、场景C(即培训项目)的构造模式和整个视频V(即培训系统)的构造模式。挖掘过程主要包括:
(1)根据需求制定的培训方案进行视频镜头分割;
(2) 根据分割的镜头挖掘并抽取特征;
(3) 根据特征进行镜头聚类;
(4) 根据镜头聚类结果进一步挖掘视频结构语法模式。
具体的语法模式挖掘方法可以采用关联规则挖掘算法对视频字符串序列进行关联规则挖掘,挖掘视频镜头中的频繁关联模式,得到视频的结构语法,并对视频结构语法进行识别和分析。图3给出了视频结构语法挖掘框架。
视频语法结构根据视频表达信息内容和视频目的运用多种视频镜头的组合方式,即通过将各种镜头以特定的方式组合在一起,表达一定的语义含义。而这种镜头组合方式会重复地出现,从而形成视频中的“结构语法模式”。
图3 视频结构语法挖掘框架
对于模拟仿真培训系统来说,视频语法挖掘方法既可以用于实现仿真模块的智能化提取,又可以用于个性化培训方案的指定。针对模拟仿真培训系统的视频特性,对一些相对简单的模式、组合的镜头可以用几个字符串来表达,语法模式匹配简化为字符串匹配,通过比较输入字符串与模式字符串,判断其属于哪一类模式。对一些相对复杂的问题,目标是确定镜头字符串所匹配一个或更多的语法结构模式。
2.3 培训系统视频语义挖掘[1-2,5-6]
视频语义挖掘是根据前面视频基本结构的定义,从视频基本结构中挖掘出包含的含义和事件模式的过程,探索视频结构特征之间的关系(语义挖掘框架如图4所示)。分析视频中的语义事件,需要事先知道视频中各个镜头的类型,而对于培训系统来说这是可以实现的。
图4 视频结构语义挖掘框架
语义概念生成和事件推理都是以镜头为基本单位的,镜头语义概念是对事件进行推理的要素,它是低层特征与高层事件之间的中间层次。具体应用如下:
(1) 在将原始视频数据分割为镜头后,从各个镜头中抽取若干与培训事件密切相关的语义概念,构造各培训事件模型,用于融合概念和进行事件推理。
(2) 将培训过程中生成的视频流分割为镜头序列,然后从每个镜头中根据语义挖掘结果生成各种线索,最后根据视频序列进行事件推理,得到高层语义事件。
将视频语义挖掘应用于模拟仿真培训系统可以用于发现并分析判断被培训人员的操作问题、心理状态,以及培训过程的实时跟踪分析等培训功能扩展。
2.4 培训系统视频结构模式(知识)挖掘[1-2,5-6]
通过关联规则、图形界面等形式表现视频结构挖掘结果,便于用户对挖掘结果加以解释和说明。结构模式包含视频基本结构、语法结构、语义结构模式。具体实现如下:
(1) 首先对视频进行镜头分割,得到视频镜头层结构。包含所有镜头、镜头关键帧及相关特征。
(2) 根据这些特征采用时间约束的聚类算法,对镜头进行聚类得到场景,从而获得视频层次结构,这样有利于存储。
(3) 对语义和语法知识大部分以关联规则的形式表示。
对培训系统挖掘结果的合理解释及挖掘知识的不断存储,有助于进一步完善和优化培训方案,提高培训质量。
3 结 语
通过视频结构挖掘方法改进的模拟仿真培训系统可以实现用户培训内容的随机提取,而且可以是视频、场景、镜头、关键帧各个层次的随机提取。由此可以有针对性地制定智能化培训方案。视频结构挖掘中发现的高层结构知识,又可以用来组建培训摘要系统及指导培训方案的制定。创新点将视频结构挖掘思想方法引入基于视频的模拟仿真培训的开发中,提出了针对此类系统的视频结构挖掘框架。通过挖掘高层语义知识,合理优化系统结构,提升培训系统的智能化,对培训方案的制定具有指导意义。
参考文献
[1]付畅俭,李国辉,代科学.视频结构挖掘的概念及应用[J].计算机应用研究,2007,24(2):20-23.
[2]付畅俭.基于内容的视频结构挖掘方法研究[D].长沙:国防科学技术大学,2008.
[3]原野,沈钧毅,宋擒豹.自动视频分类中的数据预处理[J].计算机工程,2004,30(4):129-131.
[4]代科学,武德峰,付畅俭,等.视频挖掘技术综述[J].中国图像图形学报,2006,11(4):451-457.
[5]雷夏.基于特征的视频挖掘技术研究与应用[D].大连:大连理工大学,2007.
[6]胡军涛.视频高层结构分析和挖掘[D].长沙:国防科学技术大学,2002.
[7]刘宇驰,栾悉道,谢毓湘,等.新闻视频中非新闻段的去除[J].小型微型计算机系统,2007,10(10):1837-1841.
[8]韩冰.基于智能软计算的视频镜头分割算法研究[D].西安:西安电子科技大学,2006.
[9]柳伟,代科学,卢鑫,等.监控视频聚簇模式挖掘及其应用[J].数据采集与处理,2008,23(4):459-466.
[10]曹加恒,舒风笛,张凯.基于多媒体数据库的数据挖掘系统原型[J].武汉大学学报,2000,46(5):569-570.
