本体支持的视频语义概念探测(2)

　　语义概念的探测应该从两个方面进行考虑。一方面是发现概念具有的低层特征模型，称为特征匹配。感知概念的抽象和定义建立了低层特征和视频概念两个层次之间的中间语义，避免直接建立低层特征和视频概念间的关联，减小语义鸿沟问题带来的影响。从低层特征角度看感知概念是低层特征模式的抽象，具有特征稳定性和一致性；从高层语义角度看，视频概念总是表现为若干感知概念的组合，因此感知概念也具有一定的语义。因此，首先抽取视频概念关联的感知概念，然后从感知概念中抽取低层特征训练统计机器学习模型，识别语义概念。

　　另一方面是建模并利用上下文信息增强概念探测方法的语义理解和识别能力，称为上下文信息匹配。提出的视频概念扩展本体的语言层定义了概念之间的关系，同时“概念描述”、“同义词集”、“关联概念”等概念描述属性完整、准确的描述了概念包含的上下文信息。

　　同时，利用VOCR 和语音识别技术可以从视频片段中抽取文本信息，这些文本信息中出现的概念术语为语义概念探测提供了语义线索，能够增强概念探测的准确率。本文提出的本体支持的概念探测方法。

　　视频概念探测主要分为三个部分：上下文信息匹配、特征匹配和匹配结果融合。在上下文信息匹配中，一方面通过VOCR 和语音识别技术从视频片段提取文本信息，另一方面通过视频概念扩展本体的定义获取待探测概念的描述和与其关联的概念，则二者的相关程度暗示了待探测概念出现的可能，上下文信息匹配将定量计算这种相关程度。特征匹配根据低层感知特征相似性计算视频片段中包含视频概念的可能性，首先通过视频概念扩展本体的定义获取待探测概念包含的感知概念，然后抽取视觉对象特征训练概念分类器，计算视觉对象匹配程度，同时统计视频片段包含其他感知概念的情况，计算其他感知概念匹配结果。最后，通过一种融和策略，对匹配结果进行融合，融合结果表示概念探测结果。

　　3 上下文信息匹配语义概念具有的上下文信息包括两个方面，一是概念本身的描述所蕴含的上下文信息。

　　本文在视频概念扩展本体中定义概念描述包括两个部分，一是对概念的内在性质、外在属性的详细阐述，可以帮助人们更好的理解概念；二是概念具有的同义词集，即表达同一概念的不同语言术语。例如可以将概念“爆炸”描述为：在巨大响声过后出现火光和浓烟。根据上述概念描述，如果在文本信息中探测到响声、烟、火等术语，则表明很可能该段文本对应的视频片段包含有“爆炸”概念。又如概念“美国总统”可以使用不同的语言术语表达，如“乔治.布什”、“美国国家元首”等等，如果在文本信息中探测到某个概念具有的同义词术语，则表明该段文本对应的视频可能包含有该概念，而且同义词出现的数量和频度在一定程度上反映出该概念出现的可能性大小。

　　另一方面的上下文信息表现为概念间的关系。（欢迎访问零二七范文网/fANwen/lwzxx，范文大全）视频概念扩展本体中定义了两类概念间关系，一类是语义关系，主要包括Kind-of，Instance-of 和Part-of 三类父子层次关系；另一类是概念共现关系，定义为不同的概念在视频中同时出现的概率大小。容易理解，具有强共现关系的概念趋向于同时出现，因此一个概念的出现可以作为另一个概念探测的有力线索；语义关系表征的是概念间的语义相关性，而从自然语言的特点来看，语义相关的概念的出现具有集中性，因此概念语义关系为概念探测提供有用的上下文信息。

　　3.1 文本匹配文本匹配通过计算概念描述文本与视频片段包含的文本之间的相似性来判断视频片段包含该概念的可能性大小。

　　视频中包含的文本信息一方面来自于视频伴随音轨中的语音信息，另一方面来自于视频中字幕、场景文字的识别，即VOCR。本文采用ScanSoft 公司开发的Nuance 系统[6]（前身为IBM 公司开发的ViaVoice 引擎）作为语音识别工具和人工方法辅助视频伴随音轨文字标注视频中的语音信息；新闻视频中的字幕包含了对视频内容的主要文本描述，因此在本文的研究中只考虑字幕文本的识别而不考虑场景文字的识别。本文采用郭金林等[7]提出的基于压缩域特征的字幕定位与文字识别作为字幕文本识别工具。通过语音识别和VOCR 抽取的文本信息记作vt。采用中科院的开源分词软件ICTCLAS[8]进行中文分词，抽取vt 中包含的词条集1 { }Ni i nt nt = = 。对于英文分词采用人工标注方法处理。

　　概念描述文本通过视频概念扩展本体中的定义获得，包括两个部分：一是概念描述d，d ∈D，D 为本体中所有概念描述集合。另一个是概念同义词集SynonymsList 。对概念描述d 进行分词，从中抽取词条集，与同义词集合并组成概念描述词条集{ } 1Mj j c d c d == 。