图像传感到连续移动视觉的能量表征和优化外文翻译资料

英语原文共 13 页，剩余内容已隐藏，支付完成后下载完整资料

图像传感到连续移动视觉的能量表征和优化

抽象

经常执行移动计算机视觉任务的主要障碍是图像感测的高功率消耗。 在这项工作，我们报告第一次公开已知的CMOS图像传感器的实验和分析表征。 我们发现现代图像传感器不是能量比例的：每像素的能量事实上与图像捕获的帧速率和分辨率成反比，因此图像传感器系统不能提供能量系统设计的重要原理：交易质量 能源效率。

我们揭示了由当前图像传感器支持但未被移动系统使用的两个能量比例机制：（i）对于低质量单帧（照片）和连续帧（图像），使用最佳时钟频率将功率降低到50％或30％视频）捕获; （ii）通过在帧之间进入低功率待机模式，图像传感器在低帧速率下实现用于视频捕获的每像素几乎恒定的能量，导致额外的40％的功率降低。我们还提出对图像传感器的结构修改，这将进一步提高操作效率。最后，我们使用计算机视觉基准来显示使用现有图像传感器可以实现的性能和效率折衷。对于图像配准，图像镶嵌和深度估计的关键原语，我们可以在3 FPS和0.1 MP分辨率下实现96％的成功率。在这些质量指标下，最佳时钟频率将图像传感器功耗降低了36％，而积极的待机模式将功耗降低了95％。

类别和主题描述符

I.4.m [图像处理和计算机视觉]：杂项;

I.5.4 [系统性能]：建模技术，性能属性

一般条款

设计，实验，测量，性能

允许为个人或课堂使用而制作全部或部分此作品的数字或硬拷贝，无需付费，但前提是副本不是为了利润或商业利益而制作或分发，且副本带有此通知和第一页上的完整引文 。允许为个人或课堂使用而制作全部或部分此作品的数字或硬拷贝，无需付费，但前提是副本不是为了利润或商业利益而制作或分发，且副本带有此通知和第一页上的完整引文。否则，以其他方式复制，转载，张贴在服务器或分配清单，需要事先特定的权限和费用。

MobiSys13，2013年6月25-28日，台北，台湾

版权所有2013 ACM 978-1-4503-1672-9 / 13/06 ... $ 15.00。

关键词

图像传感器; 能源效率; 移动系统; 计算机视觉;能量比例

1简介

相机在移动系统上无所不在，从笔记本电脑，平板电脑，智能手机，到可穿戴设备，如Google Project Glass或GoPro头盔相机。 最初打算捕获照片或视频，摄像机激发了许多人提供新的移动计算机服务，包括标记识别，基于姿势的交互和对象识别。 许多研究人员，包括我们自己[2]，也设想通过计算机显示我们在旅途中看到的，我们将看到新一代的个人计算即将来临或连续的移动视觉。 不幸的是，图像感测，任何基于视觉的应用程序的第一阶段，是耗电量高，消耗数百毫瓦。 因此，用户和开发人员不再广泛地使用相机。 例如，用于智能手机的大多数计算机视觉应用旨在偶尔使用，而不是连续使用; 可穿戴式相机被设计用于按需捕获而不是连续的即时捕获。

由于其低功率和低成本，现代移动系统采用CMOS图像传感器[5]。 CMOS图像传感器是电路研究的有效领域，其中功耗，图像质量和制造成本已经是改进的主要焦点。 然而，移动系统将这些图像传感器与这样狭窄地限定的硬件和软件接口集成，通常只有帧分辨率并且有时帧速率可以在软件中改变。 此外，如我们后面所示，降低图像质量目前不提供显着的功率降低。 图像传感器对于系统和应用开发者来说仍然是黑盒子，其系统行为，特别是功耗，未被很好地理解。

在这项工作中，我们提供了在计算机视觉应用的背景下的图像传感器的能量特性的全面处理。 特别地，我们考虑（i）图像传感器的能量消耗如何与其图像质量要求（即帧速率和分辨率）相关，（ii）如何从系统角度减少能量消耗，以及（iii） 如何通过图像传感器硬件改进来降低能量消耗。 我们的研究包括细粒度功率测量，建模，原型设计和模型驱动模拟。

首先，在第3节中，我们报告了来自移动市场两个主要厂商的五个CMOS图像传感器的详细功率特性，打破了功耗的主要成分和操作模式。基于测量和我们对图像传感器内部的理解，我们构建了能量消耗与图像质量要求（如帧速率，分辨率和曝光时间）相关的功率模型。通过改变帧速率和分辨率，我们研究图像传感器的能量比例;特别地，我们考虑当帧速率和分辨率改变时用于收集恒定数量的像素的能量成本如何改变。我们观察到当帧速率或分辨率下降时功耗降低，每个像素的能量显着增加，当将帧速率从30帧每秒（FPS）降低到1FPS时，高达100倍，这表明能量比例性较差。这一观察表明在能量感知系统设计中应用众所周知的原则的关键障碍[6]：牺牲质量（在这种情况下，通过帧速率和分辨率降低）提高能效。我们的特性还表明，图像传感器的模拟部分不仅消耗大部分的功耗（传感器功率的33-85％），而且构成能量比例的瓶颈。

第二，在第4节，我们的调查揭示了两个未开发的硬件机制，用于改善能量比例性：时钟缩放和待机模式。现代图像传感器允许宽范围的外部时钟频率，但是移动系统通常提供固定频率的时钟。我们表明，给定图像要求，存在图像传感器消耗每像素最低能量的频率。现代图像传感器还提供其中整个图像传感器进入无功能的低功率模式的待机模式。我们表明，当帧速率和分辨率足够低时，可以在帧之间应用待机模式。我们称之为优化主动备用。我们表明，通过结合时钟缩放和积极的待机，图像感测的能量比例可以显着改善，导致几乎恒定的能量每像素在很宽的范围内的图像质量要求和超过40%的效率改善图像质量要求较低，例如，一个像素每帧和5帧。在第5节中，我们建议进行几种硬件修改，以进一步提高能源效率，特别是模拟部件的能效。

最后，在第6节中，使用计算机视觉基准和从表征中收集的数据，我们证明了图像传感器的质量与能量权衡，并且没有应用上述优化。用于图像拼接和深度估计的连续图像配准的影像，我们可以通过选择最佳时钟频率实现36％的功率降低，以及通过使用积极待机实现95％的功率降低。 我们认为图像传感器架构修改可以进一步降低功耗。 例如，通过使组件在曝光期间处于待机，功率可以进一步降低30％。

2背景

我们首先概述CMOS图像传感器，移动系统上相机的核心。 虽然相机使用光学和机械元件将光聚焦到图像传感器的平面，但是我们具体讨论了在光到达传感器之后与图像质量和功耗相关的各种电子部件和控制。

2.1图像传感器的主要组件

典型的图像传感器是单个芯片，其包括如图1所示的以下组件。像素阵列由像素阵列组成;每个像素采用光电检测器和几个晶体管将光转换成存储在电容器中的电荷。模拟信号链采用有源放大器和模数转换器（ADC）将电容器的电压转换为数字输出。串行读出传感器对传感器采用单个模拟信号链，而列并行读出传感器对每个像素列使用一个模拟信号链。图像处理器执行基本数字图像处理，例如去马赛克，去噪和白平衡。 I / O控制器将图像传感器与外部世界接口，通常是移动系统中的应用处理器。与流帧数据一起，I / O控制器还接收用于设置图像传感器的内部寄存器的指令，其确定传感器的操作模式和包括帧速率和分辨率的参数。数字控制器管理图像传感器的操作的定时执行。

图1：一般图像传感器架构

2.2电子快门（曝光控制）

CMOS图像传感器采用电子快门来控制曝光时间，在读出像素电容器之前光可以进入传感器的时间长度。长曝光用于低照度室内场景，而短曝光用于明亮户外场景。有两种类型的电子快门。 （i）如图2所示，滚动快门在其被读出之前清除一行像素。滚动快门然后等待清除下一行以准备用于曝光的另一行。滚动特性允许一些行的读出与其它行的曝光重叠。然而，对于移动的场景，这导致时间问题;尽管每行暴露持续时间，但是帧的顶行比传感器的底行过早得地暴露。 （ii）全局快门同时清除像素阵列的所有行。在曝光之后，电荷被转移到屏蔽区域，存储器保持捕获的帧的状态并且将像素阵列释放到随后的曝光。当从屏蔽区域读出行时，它们不面对卷帘快门操作所遭受的移动效应。然而，全局快门需要所有像素的存储器，因此需要昂贵且复杂的设计。

可编程快门宽度指示由电子快门分配的曝光时间。 这允许系统开发人员将相机编程为在不同的环境光环境中操作。 快门宽度保持为寄存器值，并且由数字控制器实现，其适当地重置像素阵列电容器的电荷。

图2：带滚动快门的流式传输模式

2.3电源，时钟和操作模式

在移动设备上，传感器由多个电压轨供电，独立供应像素阵列，模拟信号链，图像处理器和数字控制器。 我们利用这些独立的电源轨来测量各种图像传感器组件的功耗，并在第3节中提供芯片的特性。

图像传感器还使用外部时钟。 时钟控制数字逻辑的速度。 通常，图像传感器在每个时钟周期输出一个像素。 更高的时钟速度允许传感器以不同的速度处理帧，但是消耗更多的功率。

图像传输提供两种操作模式：流和备用。 在流模式下，传感器在两种状态之间交替：空闲状态和活动状态。 在空闲状态期间，传感器开启并且可以经历曝光，但是模拟信号链尚未激活以读出像素阵列。 在活动状态下，模拟信号链读出像素阵列，数字元件处理图像，I / O控制器将帧从传感器流出。 在图2中，图像传感器处于流模式，在和之间交替。 由于滚动快门操作，可以暴露行，同时在T活动状态期间读出行。

在待机模式下，许多图像传感器芯片被置于具有时钟和/或功率门控的低功率模式，但是所有寄存器状态都被保持，这允许快速唤醒。 待机模式消耗最小功率（0.5 - 1.5 mW）。 此模式用于拍摄不需要预览的快照; 传感器可以保持在待机模式，唤醒拍照，然后返回待机状态。

2.4质量控制

典型的图像传感器提供控制以改变帧的质量，允许帧分辨率，视场，帧速率和功率消耗之间的折衷。 这些由I / O控制器设置并由数字控制器控制的寄存器值维护。 我们将在下面详细介绍这些操作。

帧速率R：帧速率是输出流中每秒的帧数。 它通常由系统开发人员决定。 帧时间，= 1 / R，是帧速率的倒数。 最小帧时间受图像中像素数和时钟频率的限制。 然而，可以通过编程垂直消隐来延长帧时间，垂直消隐向图像添加多个“空白行”以用于定时目的。 每个空白行花费与从帧中读出行相同的时间量，但是许多组件在消隐时间期间可能是空闲的。 垂直消隐在图像流中表现为零行，并且可以由接收输出流的处理器丢弃。 增加的垂直消隐因此有效地提高帧时间，降低帧速率。

帧分辨率N：帧分辨率N表示图像中的像素数量，并且直接影响图像传感器系统的数据传输，处理和存储需求。 N可以通过两种机制来减少：窗口和子采样。窗口指示图像传感器输出帧的较小矩形窗口，如图3所示。通过指定窗口的大小和位置，系统可以请求输出减少视野。图像传感器使用两种技术中的一种来实现子采样：（i）行/列跳过跳过对每隔一行或一列的像素进行采样。结果，许多像素不被发送到图像处理器，导致图像的快速二次采样读出。另一方面，（ii）行/列合并在模拟信号链之后合并图像处理器中的相邻像素的值相邻像素组创建单个像素值，减少了子采样图像中的高频混叠效应和噪声，这些技术如图3所示。

图3：图像窗口和子采样技术

2.5移动系统内部集成

图像传感器通常直接与移动设备中的主应用处理器连接。 因为在现代移动设备中使用的大图像传感器需要高的数据传输速度，这导致并行总线上的同步问题，所以当前的设备使用图像传感器和应用处理器之间的串行接口。 例如，Qualcomm Snapdragon S4和Nvidia Tegra 3使用串行MIPI接口，包括传输数据的时钟，一个或多个串行数据路径和串行控制总线[19]。

由于缺乏硬件访问，移动设备上的用户应用程序诉诸于使用操作系统提供的摄像机API。 典型的动作包括控制（例如，使相机聚焦），图像和视频捕获以及相机的配置（例如，设置分辨率）。 例如， 本机API提供用于捕获图像的和用于记录视频的StartRecordingToStreamAsync（），而AudioVideoCaptureDevice保持诸如自动聚焦区域和曝光时间之类的属性。 还提供对帧速率和子采样（但不开窗口）参数的控制。 Android和iOS SDK提供类似的API。

3能量表征

在本节中，我们报告了几种最先进的CMOS图像传感器的能耗的表征研究。 特别地，我们在帧速率和分辨率方面评估在各种图像质量要求下的每像素的能量，这与计算机视觉应用相关。 我们有三个目标。 首先，我们需要彻底了解图像传感器如何在其主要组件中消耗功率。 第二，我们要确定有效的机制，以达到相同的质量与最低的每像素能量。 最后，我们想要识别现有和新兴图像传感器的能量比例性问题：为什么每像素能量随着质量要求的降低而增加？

3.1设备和图像传感器

我们使用National Instruments USB-6212 16位，400 kilos采样/秒DAQ设备进行功率测量。 我们描述了来自移动市场的CMOS图像传感器的两个主要供应商的五个图像传感器，如表2所总结的。通过同时测量到各种电压轨中的电流，我们能够推断现代图像传感器的内部组件的功率特性。

3.2组件分解

我们接下来提供关于图像传感器在空闲和活动模式（即，和）中的功耗以及它们分解成主要组件的测量结果。

击穿：我们发现在有源状态下，模拟读出电路消耗总功率的70-85％，除了在B3中，其中仅消耗33％，由于其模拟的列并行读出

剩余内容已隐藏，支付完成后下载完整资料

资料编号：[141338]，资料为PDF文档或Word文档，PDF文档可免费转换为Word