Multimedia Tools and Applications, 1, 9-46 (1995)
Q 1995 Kluwer Academic Publishers, Boston. Manufactured in The Netherlands.
Production Model Based Digital Video
Segmentation
ARUN HAMPAPUR, RAMESH JAIN* AND TERRY E WEYMOUTH arun@eecs.umich.edu
Computer Science and Engineering, Department of Electrical Engineering and Computer Science, University
of Michigan, 1101 Beal Ave, Ann Arbor, MI 48109-2110
Abstract. Effective and efficient tools for segmenting and content-based indexing of digital video are essential
to allow easy access to video-based information. Most existing segmentation techniques do not use explicit
models of video. The approach proposed here is inspired and influenced by well established video production
processes. Computational models of these processes are developed. The video models are used to classify the
transition effects used in video and to design automatic edit effect detection algorithms. Video segmentation
has been formulated as a production model based classification problem. The video models are also used to
define segmentation error measures. Experimental results from applying the proposed technique to commercial
cable television programming are presented.
Keywords: Digital Video, Video Segmentation, Video Indexing, Video Databases, Edit Effects, Fade In, Fade
Out, Dissolve, Editing, Content based retrieval
1. Introduction
The progress of computer systems towards becoming true multimedia machines depends
largely on the set of tools available for manipulating the different components of multimedia.
Of these components digital video is the most data intensive. Effective tools
for segmenting and content based indexing of digital video are essential in the design of
the true multimedia machine. This paper presents an innovative and novel approach to
modeling and segmenting digital video based on video production techniques.
The problem of segmenting digital video occurs in many different application of video.
Content based access of video in the context of video databases requires access to video
in a more natural unit than frames. Video segments based on edit locations provides
a higher level of access to video than frames. Multimedia authoring systems which
reuse produced video need access to video in terms of video shots. The edit detection
algorithms presented in this paper can be used in digital video editing systems for edit
logging operations. There are several other applications in video archiving and movie
production which can use the segmentation techniques presented here.
Video segmentation requires the use of explicit models of video. Most of the current
approaches to video segmentation [1], [19], [24], [22] do not use explicit models. They
pose the problem as one of detecting camera motion breaks in arbitrary image sequences.
The solutions that have been presented typically involve the application of various low
level image processing operations to the video sequences. These approaches have not
utilized the inherent structure of video. Defining models of video which capture thestructure provides the constraints necessary for effective video segmentation. Hampapur
et al [10] have presented initial results on model based video segmentation. The work
presented in this paper uses the production model based classification approach to video
segmentation.
This paper presents a video edit model which is based on a study of video production
processes. This model captures the essential aspects of video editing. Video features
extractors for measuring image sequence properties are designed based on the video
edit model. The extracted features are used in a production model based classification
formulation to segment the video. The models are also used to define error measures,
which in conjunction with test videos and correct video models are used to evaluate
the performance of the segmentation system. Experimental results from segmenting
commercial cable television data are presented.
Section 2 discusses modeling of digital video based on video production techniques
and proposes a classification of edits. Video segmentation is defined in section 3. The
formulation of video segmentation as production model based classification is discussed
in section 4. This section also presents the design of feature extractors. The classification
and segmentation steps are discussed in 5. Section 6 presents a comparison of this work
to other research in the field. Segmentation error measures are formulated in section 7.
Section 8 presents the experiments performed and the results obtained. A summary of
the work and future directions concludes the paper.
2. Modeling Digital Video
Video (the term video is used generically to cover movies, video, cable television programming
etc) is a means of storing and communicating information. There are many
different ways in which video is used and many different aspects of video [8], [14]. The
two most essential aspects of video are the content and the production style. The content
of video is the information that is being transmitted through the medium of video. The
production style is the encoding of the content into the medium of video. The production
style of video is the aspect which is directly relevant to the problem of segmenting digital
video.
The process of producing a video involves two major steps, the production of shots
(a sequence of frames generated by
剩余内容已隐藏，支付完成后下载完整资料
多媒体工具和应用，1，946（1995）
Q 1995克鲁维尔学术出版社，波士顿. 在荷兰制造
基于生产模型的数字视频
分段
阿伦哈帕普尔，拉米什-贾恩*和特里·E·韦茅斯
计算机科学与工程，电气工程与计算机科学系，大学
密歇根，1101比尔大道，安娜堡，MI8109212110
摘要： 有效的和高效的分割和基于内容的数字视频索引工具是必不可少的。
允许轻松访问基于视频的信息。大多数现有的分割技术不使用显式技术。
视频模型。这里提出的方法受到良好的视频制作的启发和影响。
过程。这些过程的计算模型被开发出来。视频模型用于分类。
在视频中使用的过渡效应，并设计自动编辑效果检测算法。视频分割
已被制定为基于生产模型的分类问题。视频模型也用于
定义分段错误度量。将所提出的技术应用于商业的实验结果
介绍了有线电视节目的制作。
关键词： 数字视频，视频分割，视频索引，视频数据库，编辑效果，淡入，淡出
输出、溶解、编辑、基于内容的检索
1. 简介
面向真正多媒体机器的计算机系统的进展,很大程度上取决于一组可操作多媒体的不同组件的工具。在这些组件中，数字视频是最密集的数据。有效工具对于数字视频的分割和基于内容的索引在设计中是必不可少的。真正的多媒体机器。本文提出了一种新颖而新颖的方法。
基于视频产生技术的数字视频建模与分割在许多不同的视频应用中出现了分割数字视频的问题。在视频数据库的上下文中基于内容的视频访问需要访问视频,在一个比框架更自然的单位。基于编辑位置提供的视频片段比帧更高的视频访问水平。多媒体创作系统重用产生的视频需要以视频镜头的方式访问视频。编辑检测本文提出的算法可用于编辑的数字视频编辑系统。视频存档和电影还有其他几个应用生产可以使用分割技术在这里提出。视频分割需要使用视频的显式模型。大部分电流视频分割的方法〔1〕、〔19〕、〔24〕、〔22〕不使用显式模型。他们将该问题作为检测任意图像序列中摄像机运动中断的问题之一。所提出的解决方案通常涉及各种低的应用。对视频序列进行水平图像处理操作。这些方法没有利用视频的固有结构。定义捕获模型的视频模型为有效的视频分割提供必要的约束。哈帕布尔等人（10）提出了基于模型的视频分割的初步结果。本文提出了一种基于生产模型的视频分类方法。本文提出了一种基于视频制作的视频编辑模型过程。该模型捕获视频编辑的基本方面。视频特征根据视频设计了用于测量图像序列特性的提取器、编辑模型。所提取的特征用于基于生产模型的分类、制定分段视频。模型也被用来定义错误度量，结合测试视频和正确的视频模型来评估分割系统的性能。分段实验结果商业有线电视数据。
第2节讨论了基于视频制作技术的数字视频建模。并提出了编辑分类。视频分割在第3节中定义。这个讨论了基于生产模型分类的视频分割方法在第4节中。本节还介绍了特征提取器的设计、分类、分割步骤在5中讨论。第6节介绍了这项工作的比较其他领域的研究。在第7节中制定了分割误差度量。第8节介绍了所进行的实验和所获得的结果。综述论文的工作和未来的研究方向。
2. 数字视频建模
视频（术语视频一般用来覆盖电影、视频、有线电视节目）是存储和传递信息的手段。有很多视频使用的不同方式和视频的许多不同方面〔8〕，〔14〕。这个视频的两个最基本的方面是内容和制作风格。内容视频是通过视频媒介传输的信息。这个生产方式是将内容编码成视频的媒介。生产视频风格是与数字分割问题直接相关的一个方面。制作视频的过程包括两个主要步骤：镜头的制作。（由相机的单个操作产生的帧序列〔17〕、拍摄和
将不同镜头编译成结构化的视听演示文稿、编辑〔17〕，〔2〕。为了分割视频，必须有一个计算模型。编辑过程，图1, 2说明了编辑的过程。这两个阶段是跟随：
编辑这是决定镜头的时间顺序的过程。它还涉及决定在不同镜头之间使用的转换或编辑。结果编辑过程是一个列表或一个被称为编辑决策列表的模型[6 ]。这是编辑决策列表转换成的物理过程，最后切割的帧[ 2 ]，这是一个过程。
图1 视频制作模型
按指定的顺序设置镜头，并在镜头之间执行编辑。这个装配过程一般在最后的剪裁中添加被称为编辑帧的帧，从原来的镜头帧。
2.1. 视频编辑模组
这里提出的视频编辑模型捕获了编辑和组装的过程。在前一节中。该模型有三个组成部分：编辑决策模型，模型输出的编辑，装配模型，代表视频制作的组装阶段与编辑效果模型
在不同的过程中出现的图像序列变换的确切性质编辑效果的类型。
4.1. 切割检测
剪切是身份编辑，与其他编辑不同，不能独立建模或定义。它连接的两个镜头，因为它不贡献任何编辑帧到视频。裁剪可以根据它们所连接的镜头来分类。当A剪辑的视频被呈现给观众，观众将经历突然的转变。跨越过渡的视觉特性（或不连续性），镜头的视觉特性包括物体和相机的运动速度和方向、形状、颜色等因素。在视频制作的编辑阶段，导演的亮度分布等。控制切割过程中的各种视觉特性转换。一些试图最小化观众经历的视觉中断。这个标准被称为作为一个图形匹配（2），[7 ]在编辑文献中，其他最大化了视觉不连续性。横跨切口，唤起特定观众的反应。
切割检测器是一种能够检测特定视觉的不连续性的算法，视频中两个连续帧之间的属性。大多数切割探测器使用在文献〔1〕中，〔19〕、〔24〕、〔22〕依赖于帧的颜色空间来识别A。
不连续性该技术还具有预期的隐式镜头模型，在射击范围内视觉属性的变化。性能这些探测器在90%到95%的范围内是相当可接受和准确的。有报道。有两种实现更好的切割检测的方法，使用额外的方法。视觉特性和使用明确的镜头模型，有几种技术〔21〕可用于识别图像序列中特征轨迹的不连续性和8.1，实验装置和数据描述实验是对存储在激光唱机上的视频数据进行的。激光器磁盘播放机通过串行链路从主机远程控制，视频是在飞行中数字化，激光播放器被同步到期望的帧和图像，使用主机上的数字化卡进行数字化，主持人的结合计算机和激光磁盘播放器基本上提供了对视频的随机帧访问，存储在视频盘上。主机运行了一个具有A级的分割软件，图形用户界面前端，方便处理视频和方便分割系统的实验分析。实验数据是从本地有线电视系统收集到的，在安娜堡。数据中包含的编程类型包括新闻片段，音乐录影带、广告、情景喜剧、体育演员等。
8.2. 实验1：大规模特征图
这组实验给出了颜色和空间特征的特征曲线，相对较大的时间跨度。图显示探测器对不同类型的响应。
密歇根安娜堡艾伯特密歇根大学齿科研究所的针孔照相机，本文介绍了一种针孔照相机的设计和理论，它能同时产生X射线辐射的任何物体的射线照片和照片。反射可见光，这样的照相机对于牙科放射研究是非常有用的，因为病人和X射线设备都发射X射线并反射可见光，而患者用X射线检查。针孔相机的实验方法设计-针孔相机本质上是一个包含照相胶片和射线照相胶片的盒子（图1）。相机的壁的材料和厚度被选择来限制薄膜的曝光，仅限于那些能够通过在与薄膜相对的壁上的非常小的开口进入相机的射线。图像将反转和反转在电影上，就像传统相机产生的图像一样。因为X射线和可见光都从它们的原点直线传播，针孔相机能够记录两种辐射形式的来源。相机的壁必须是不透明的和不透射线的，*以保护膜免受不希望的光暴露，并产生具有高达90 kVp的电压的X射线。当摄像机的壁由3英寸厚的铅制成时，这些条件就足够了。针孔照相机，如图1所示，被设计成可以将整个针孔组件移除，并用另一个包含其他尺寸开口的组件替换。辐射孔必须通过的针孔开口的细节如图2所示。针孔组件是由铝薄片夹在两个铅盘之间形成的。铅盘的锥形开口形成X射线可以进入照相机的射线针孔开口。针孔中适当的锥度是由针孔与胶片之间的距离与胶片对角线尺寸之比决定的。铝箔非常透亮，因此X射线穿过铅盘开口的箔。
图1，带前壁的针孔相机，从辐射源的所有点来看，射线可以在每个可想到的方向上发射或反射。这些射线中的一些通过针孔开口进入相机，并在相机内的两个膜中的一个上记录源的图像，照相机的墙壁可以用铅做。
图2
针孔组件（图2垂直视图），针孔相机包含两个同心针孔开口。铝箔薄片中的微小开口允许可见光的射线进入相机，而两片铅中的一些较大的开口用于接纳X射线的射线。铝箔中的开口与铅盘的锥形开口同心，铅和铝对可见光都是不透明的，因此，铝箔中的开口只起到照相针孔的作用。在图3中给出了膜组件的展开视图，该薄膜组件是一种切割薄膜保持器和带有增强屏幕的暗盒的组合。通过照相针孔进入照相机的可见光射线使摄影胶片曝光，在薄膜组件中，没有可见光线穿透比镁片更深的射线，因此，射线照相胶片被保护不受该曝光源的影响。射线照相胶片通过X射线的直接作用而暴露出来，并通过X射线激活的增感屏的荧光来曝光。肖像PAN膜由于其对光的极大敏感性和对穿透膜组件的各个层的X射线的低敏感性而被成功地应用于照相机中，增强的屏幕和X射线胶片的结合：已经成功地应用于照相机中记录射线图像。用针孔相机拍摄了满意的照片，曝光范围在35到60分钟之间。用90 kVp产生的辐射所产生的射线曝光范围介于1500毫秒和4500毫安秒之间。当曝光前的摄影曝光完成后，光电帕特森“闪电特制”T柯达“皇家蓝”。
图形曝光被简单地通过用一块薄的不透明塑料带覆盖针孔组件而终止，射线照相曝光允许继续进行直到完成。牙科X射线机不是设计用于在高电压和电流值下连续运行的，尽管有些可以以非常低的电流连续工作，只要将强制冷却提供给机器的头。大多数设备不能在超过6.5%的占空比的高电压和电流值下工作，这意味着，在每分钟内，该设备可以运行不超过6.5%的时间，或4秒。在每分钟56秒的剩余时间内，该装置的非操作是必要的，以允许阳极冷却。单个设备的占空比可以从设备的制造商学习。针孔相机曝光时间的理论。用任何点辐射源，辐射强度与源距离的平方成反比。因此，在针孔相机中曝光的薄膜从点光源辐射的曝光时间是从源到膜的距离的平方的函数，并且与针孔开口的直径无关（图4）。当辐射源是从每个点反射或发射均匀强度的大物体时，控制曝光时间的条件是完全不同的。在这些条件下，暴露在膜上的每个点的辐射强度与针孔开口的直径成正比，与针孔到膜的距离的平方成反比（图5）。因此，曝光时间是从针孔到胶片的距离的平方，由针孔开口的直径除以，并且与光源中的针孔开口的距离无关，只要光源是大的。够了。随着针孔相机，与传统相机一样，可以放大放大的图像、缩小的图像或自然尺寸的图像。图6表明，图像的大小与针孔膜距离和源针孔距离的差值成正比，与源孔距离成反比。分辨率：两点源分辨率的理论极限与针孔直径和源膜距离的乘积成正比，与针孔膜距离成反比（图7）。
图9，一个牙科X射线设备的头部的图像调查是用针孔照相机拍摄的。A是摄影图像，B是针孔摄像机记录的射线图像，反射光产生图像A，而散射X射线产生图像B，图像C是照片A和X射线照片B的叠加组合。
图10用针孔照相机产生的幻像和牙科X射线装置的X射线照片。对假体下颌切牙区进行根尖X射线检查，该X射线图像由散焦体和X射线装置散射到位于幻像侧的针孔照相机。离体软组织的散射量明显大于牙齿和骨骼的散布量，。anterior和后牙都显示，从而表明散射辐射，到达针孔相机位于幻像前面，不仅来自浅表组织，但从更深的组织。介绍了一种既有照相底片又有照相胶片的铅壁针孔相机的设计，在数学上描述了控制曝光时间和图像尺寸和清晰度的因素。牙科医生同时制作的照片和射线照片说明了这种新工具在牙科放射研究中的实用性。
图11。这是一张用X射线散射和针孔相机拍摄的照片。它是由上颌中切牙区进行根尖周X射线检查的幻像，相机位于幻影的前面，anterior和后牙的图像的存在表明，产生射线的散射辐射起源于浅表和深部组织。
剩余内容已隐藏，支付完成后下载完整资料
资料编号：[22271]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
课题毕业论文、外文翻译、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
