Camera工作原理作者：黄平礼 日期：2011.01.04一、camera module主要组成部分 二、camera工作原理原理介绍 三、camera在MT6229平台上的工作 原理介绍一、一、camera modulecamera module主要组成部分主要组成部分Camera module 主要的组成部分由：lens和Sensor IC，其中有 些Sensor IC是集成了DSP，有些是没有集成DSP，没有集成DSP 的module需要外部外挂DSP。1、镜头（LENS） 镜头是仅次于CMOS芯片影响画质的第二要素，其组成是透镜结构，由几 片透镜组成，一般可分为塑胶透镜（plastic）或玻璃透镜（glass）。当然 ，所谓塑胶透镜也非纯粹塑料，而是树脂镜片，当然其透光率感光性之类 的光学指标是比不上镀膜镜片的。 通常摄像头用的镜头构造有：1P、2P、1G1P、1G2P、2G2P、2G3P、4G 、5G等。透镜越多，成本越高，相对成像效果会更出色；而玻璃透镜又比 树脂贵。因此一个品质好的摄像头应该是采用多层玻璃镜头！现在市场上 的多数摄像头产品为了降低成本，一般会采用廉价的塑胶镜头或一玻一塑 镜头（即：1P、2P、1G1P、1G2P等），对成像质量有很大影响！2、Sensor IC 在摄像头的主要组件中，最重要的个人认为就是图像传感器了，因为感光 器件对成像质量的重要性不言而喻。 Sensor将从lens上传导过来的光线转换为电信号，再通过内部的DA转换为 数字信号。由于Sensor的每个pixel只能感光R光或者B光或者G光，因此每 个像素此时存贮的是单色的，我们称之为RAW DATA数据。要想将每个 像素的RAW DATA数据还原成三基色，就需要ISP来处理。3、数字信号处理芯片DSP DSP结构框架: (1). ISP（image signal processor）（镜像信号处理器） (2). JPEG encoder（JPEG图像解码器） ISP的性能强大是决定影像流畅的关键，JPEG encoder的性能也是关键指 标之一。而JPEG encoder又分为硬件JPEG压缩方式，和软件RGB压缩方式 。DSP控制芯片的作用是：将感光芯片获取的数据及时快速地传到 baseband中并刷新感光芯片，因此控制芯片的好坏，直接决定画面品质（ 比如色彩饱和度、清晰度）与流畅度。二、二、cameracamera工作原理原理介绍工作原理原理介绍1、Sensor内部工作原理 2、DVP传输方式介绍 3、Camera在MT6229平台上的工作原理1、Sensor内部工作原理外部光线穿过lens后，经过color filter滤波后照射到Sensor面上， Sensor将从lens上传导过来的光线转换为电信号，再通过内部的DA转换 为数字信号。如果Sensor没有集成DSP，则通过DVP的方式传输到 baseband，此时的数据格式是RAW RGB。如果集成了DSP，则RAW DATA 数据经过AWB、color matrix、lens shading、gamma、sharpness、AE和de-noise处理，后输出YUV或者 RGB格式的数据。2 2、DVPDVP传输方式介绍传输方式介绍DVP分为三个部分： 1）输出总线；2）输入总线；3）电源总线。如下图：1)输入总线介绍a、PWD为camera的使能管脚。当camera处于PWD模式时，一切对 camera的操作都是无效的。因此，在RESET之前，一定要将PWD管脚置 为normal模式。b、RESET为camera的复位管脚。此方式为硬复位模式，一般管脚置 为低，camera处于硬复位状态，camera的各个IO口恢复到出厂默认状 态。只有在XCLK开启后，将RESET置为低，硬复位才有效，否则复位无 效。c、XCLK为camera工作时钟管脚。此管脚为BB提供camera的工作时 钟。d、I2C为camera与BB通信管脚。BB与camera的通信总线。2)输出总线介绍a、data为camera的数据管脚。此数据脚可以输出的格式有YUV、 RGB、JPEG。b、VSYNC为camera的帧同步信号管脚。一个VYSNC信号结束表示一 帧（即一个画面）的数据已经输出完毕。c、HSYNC为camera行同步信号管脚。一个HSYNC信号结束表示一行 的数据已经输出完毕。d、PCLK为像素同步信号管脚。一个PCLK信号结束表示一个数据已 经输出完毕。Data、PCLK、V_sync、H_sync的关系如下：3)Power线介绍a、AVDD为camera的模拟电压。b、DOVDD为camera的GPIO口数字电压。c、DVDD为camera的核工作电压。一般来说，要求先提供sensor的GPIO口电压，接着提供模拟电压， 最后提供工作电压。时序如下图：三、三、cameracamera在在MT6229MT6229平台上的工作原理介绍平台上的工作原理介绍MT6229是支持RAW RGB Camera的一个平台。因此Camera module可以选择不带ISP的Sensor。其主要结构是Camera module+MTK DSPMTK DSP 包括ISP、IMAGE DMA、IPP及RESIZE，其中ISP分为 TG、lens/sensor compensation、color process三个单元。 TG为时钟接收器，负责从camera接受数据， lens/sensor compensation只将RAW RGB数据转为RGB565，其他格式不做处 理， color process将RGB565/YUV422转为YCbCr888。ISP部 分这里不做详述，后面的效果调试将做详细描述，重点对 IMAGE DMA及RESIZE做详细的描述。1）RESIZE分为： DRZ、 PRZ。 DRZ即drop resize，负责列与行的压缩，中间格式不变。PRZ即post resize，分为两个部分：粗略压缩与精细压缩。粗略 压缩即简单的按照比例压缩，例如1，1/4，1/16，1/64；精细压 缩即对列于行进行压缩，中间先是将YUV444转为YUV420，这样提 高了压缩速度。 2） IPP分为IPP1,IPP2,IPP3。IPP的作用是将YUV转换为RGB，如下图 ：3）IMAGE DMA包括JPEG DMA、VIDEO DMA、IBW1/2/3/4 DMA、IBR1/2 DMAJPEG encode DMA主要负责将YUV444数据按照8X8模块， 压缩为YUV422/420,如果数据最后一个模块不是8X8，则用 0补齐。然后将YUV422/420传送到JPEG ENCODE.image buffer write 1 主要负责将数据从IPP2传输到Thumbnail buffer； image buffer write 2主要负责将数据从IPP1传输到 memory或LCD buffer。 image buffer write 3主要负责将RGB888/YUV444传送到 DRZ.image buffer write 4主要负责将RGB888/YUV444传送到PRZ.image buffer read 1 主要负责将数据 RGB565/RGB888/BGR888从memory传输到IPP3.image buffer read 2 主要负责从memory读取phone frame，经 过压缩、转化后叠加到CRZ buffer上。Camera preview IMAGE DMA path：Camera capture IMAGE DMA path：