,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,Camera工作原理,作者：黄平礼,日期：2019.01.04,Camera工作原理作者：黄平礼,1,一、camera module主要组成部分,二、camera工作原理原理介绍,三、camera在MT6229平台上的工作原理介绍,一、camera module主要组成部分,2,一、camera module主要组成部分,Camera module 主要的组成部分由：lens和Sensor IC，其中有些Sensor IC是集成了DSP，有些是没有集成DSP，没有集成DSP的module需要外部外挂DSP。,一、camera module主要组成部分Camera mo,3,1、镜头（LENS）,镜头是仅次于CMOS芯片影响画质的第二要素，其组成是透镜结构，由几片透镜组成，一般可分为塑胶透镜（plastic）或玻璃透镜（glass）。当然，所谓塑胶透镜也非纯粹塑料，而是树脂镜片，当然其透光率感光性之类的光学指标是比不上镀膜镜片的。,通常摄像头用的镜头构造有：1P、2P、1G1P、1G2P、2G2P、2G3P、4G、5G等。透镜越多，成本越高，相对成像效果会更出色；而玻璃透镜又比树脂贵。因此一个品质好的摄像头应该是采用多层玻璃镜头！现在市场上的多数摄像头产品为了降低成本，一般会采用廉价的塑胶镜头或一玻一塑镜头（即：1P、2P、1G1P、1G2P等），对成像质量有很大影响！,1、镜头（LENS）,4,2、Sensor IC,在摄像头的主要组件中，最重要的个人认为就是图像传感器了，因为感光器件对成像质量的重要性不言而喻。,Sensor将从lens上传导过来的光线转换为电信号，再通过内部的DA转换为数字信号。由于Sensor的每个pixel只能感光R光或者B光或者G光，因此每个像素此时存贮的是单色的，我们称之为RAW DATA数据。要想将每个像素的RAW DATA数据还原成三基色，就需要ISP来处理。,2、Sensor IC,5,3、数字信号处理芯片DSP,DSP结构框架:,(1).ISP（image signal processor）（镜像信号处理器）,(2).JPEG encoder（JPEG图像解码器）,ISP的性能强大是决定影像流畅的关键，JPEG encoder的性能也是关键指标之一。而JPEG encoder又分为硬件JPEG压缩方式，和软件RGB压缩方式。DSP控制芯片的作用是：将感光芯片获取的数据及时快速地传到baseband中并刷新感光芯片，因此控制芯片的好坏，直接决定画面品质（比如色彩饱和度、清晰度）与流畅度。,3、数字信号处理芯片DSP,6,二、camera工作原理原理介绍,1、Sensor内部工作原理,2、DVP传输方式介绍,3、Camera在MT6229平台上的工作原理,二、camera工作原理原理介绍1、Sensor内部工作原理,7,1、Sensor内部工作原理,外部光线穿过lens后，经过color filter滤波后照射到Sensor面上，,Sensor将从lens上传导过来的光线转换为电信号，再通过内部的DA转换为数字信号。如果Sensor没有集成DSP，则通过DVP的方式传输到baseband，此时的数据格式是RAW RGB。,1、Sensor内部工作原理,8,如果集成了DSP，则RAW DATA 数据经过AWB、color matrix、lens shading、gamma、sharpness、AE和de-noise处理，后输出YUV或者RGB格式的数据。,如果集成了DSP，则RAW DATA 数据经过AWB、col,9,2、DVP传输方式介绍,DVP分为三个部分：,1）输出总线；2）输入总线；3）电源总线。如下图：,2、DVP传输方式介绍DVP分为三个部分：,10,1)输入总线介绍,a、PWD为camera的使能管脚。当camera处于PWD模式时，一切对camera的操作都是无效的。因此，在RESET之前，一定要将PWD管脚置为normal模式。,b、RESET为camera的复位管脚。此方式为硬复位模式，一般管脚置为低，camera处于硬复位状态，camera的各个IO口恢复到出厂默认状态。只有在XCLK开启后，将RESET置为低，硬复位才有效，否则复位无效。,c、XCLK为camera工作时钟管脚。此管脚为BB提供camera的工作时钟。,d、I2C为camera与BB通信管脚。BB与camera的通信总线。,1)输入总线介绍,11,2)输出总线介绍,a、data为camera的数据管脚。此数据脚可以输出的格式有YUV、RGB、JPEG。,b、VSYNC为camera的帧同步信号管脚。一个VYSNC信号结束表示一帧（即一个画面）的数据已经输出完毕。,c、HSYNC为camera行同步信号管脚。一个HSYNC信号结束表示一行的数据已经输出完毕。,d、PCLK为像素同步信号管脚。一个PCLK信号结束表示一个数据已经输出完毕。,2)输出总线介绍,12,Data、PCLK、V_sync、H_sync的关系如下：,Data、PCLK、V_sync、H_sync的关系如下：,13,3)Power线介绍,a、AVDD为camera的模拟电压。,b、DOVDD为camera的GPIO口数字电压。,c、DVDD为camera的核工作电压。,一般来说，要求先提供sensor的GPIO口电压，接着提供模拟电压，最后提供工作电压。时序如下图：,3)Power线介绍,14,三、camera在MT6229平台上的工作原理介绍,MT6229是支持RAW RGB Camera的一个平台。因此Camera module可以选择不带ISP的Sensor。其主要结构是Camera module+MTK DSP,三、camera在MT6229平台上的工作原理介绍MT622,15,MTK DSP 包括ISP、IMAGE DMA、IPP及RESIZE，其中ISP分为TG、lens/sensor compensation、color process三个单元。TG为时钟接收器，负责从camera接受数据，lens/sensor compensation只将RAW RGB数据转为RGB565，其他格式不做处理，color process将RGB565/YUV422转为YCbCr888。ISP部分这里不做详述，后面的效果调试将做详细描述，重点对IMAGE DMA及RESIZE做详细的描述。,MTK DSP 包括ISP、IMAGE DMA、IPP,16,1）RESIZE分为：DRZ、PRZ。,DRZ即drop resize，负责列与行的压缩，中间格式不变。,PRZ即post resize，分为两个部分：粗略压缩与精细压缩。粗略压缩即简单的按照比例压缩，例如1，1/4，1/16，1/64；精细压缩即对列于行进行压缩，中间先是将YUV444转为YUV420，这样提高了压缩速度。,1）RESIZE分为：DRZ、PRZ。,17,2）IPP分为IPP1,IPP2,IPP3。IPP的作用是将YUV转换为RGB，如下图,：,2）IPP分为IPP1,IPP2,IPP3。IPP的,18,3）IMAGE DMA包括JPEG DMA、VIDEO DMA、IBW1/2/3/4 DMA、IBR1/2 DMA,3）IMAGE DMA包括JPEG DMA、VIDEO,19,JPEG encode DMA主要负责将YUV444数据按照8X8模块，压缩为YUV422/420,如果数据最后一个模块不是8X8，则用0补齐。然后将YUV422/420传送到JPEG ENCODE.,image buffer write 1 主要负责将数据从IPP2传输到Thumbnail buffer；image buffer write 2主要负责将数据从IPP1传输到memory或LCD buffer。,image buffer write 3主要负责将RGB888/YUV444传送到DRZ.,image buffer write 4主要负责将RGB888/YUV444传送到PRZ.,image buffer read 1 主要负责将数据RGB565/RGB888/BGR888从memory传输到IPP3.,image buffer read 2 主要负责从memory读取phone frame，经过压缩、转化后叠加到CRZ buffer上。,JPEG encode DMA主要负责将YUV444,20,Camera preview IMAGE DMA path：,Camera preview IMAGE DMA path：,21,Camera capture IMAGE DMA path：,Camera capture IMAGE DMA path：,22,