6.1 静止图像编码标准 6.2 数字视频编码的标准化进展 6.3 MPEG-1/MPEG-2视频编码标准 6.4 MPEG-4视频编码标准 6.5 H.263视频编码标准 6.6 H.264/AVC视频编码标准 6.7 AVS视频编码标准,第6章 数字图像与视频压缩编码标准,掌握JPEG基本系统的编解码原理。 了解JPEG2000渐进编码与传输的概念与思想。 理解MPEG-2视频编码中的“类”和“级”的含义。 理解I帧、P帧、B帧图像的编码特点，熟悉MPEG-2视频码流的分层结构。 掌握MPEG-4标准中基于内容编码的工作原理。 理解视频对象（VO）和视频对象平面（VOP）的概念。 了解H.263视频编码的关键技术。 熟悉H.264视频编码标准的主要特点及性能。 了解我国具备自主知识产权的AVS视频编码技术的性能及应用。,本章学习目标,静止图像包括两类：黑白（二值）静止图像和连续色调（彩色或灰度）静止图像。 对于静止图像压缩编码，已有多个国际标准，如国际标准化组织（ISO）制订的JBIG标准（ISO 11544）、JPEG标准（ISO 10918）、JPEG2000标准（编号为ISO 15444，等同的ITU-T编号为T.800）等。本节将主要介绍JPEG和JPEG2000标准。,6.1 静止图像编码标准,6.1.1 JPEG 标准概述,JPEG是Joint Photographic Experts Group（联合图片专家组）的缩写。 由ISO和IEC两个组织机构联合组成的专家组，负责制定静态的数字图像数据压缩编码标准 JPEG标准 标准号：ISO/IEC 10918或ITU-T T.81 标准名：Information technology Digital compression and coding of continuous-tone still images (信息技术 连续色调静态图像的数字压缩和编码) JPEG 标准适用范围 灰度图像，彩色图像 静止图像的压缩，视频序列帧内图像压缩 JPEG可以大范围地调节图像码率和质量,JPEG算法与颜色空间无关 RGB和YUV颜色空间之间的转换不包含在JPEG算法中。 可压缩来自不同颜色空间的数据，如RGB, YCbCr, CMYK。 JPEG算法对每个彩色分量进行单独编码，对不同的分量可以采用不同的量化参数和熵编码表。,基于 DCT 的顺序编码算法 利用视觉系统特性，使用正交变换、量化和熵编码相结合的方法，以去掉或减少视觉的冗余和数据本身的冗余 JPEG基本编码系统的算法大致分成三个步骤： 正交变换：使用正向离散余弦变换(FDCT)把空间域上的图像数据变换成频率域上的变换系数 量化：使用加权函数对DCT系数进行量化，加权函数对人的视觉系统是最佳的 熵编码：使用霍夫曼编码器对量化系数进行编码,6.1.2 JPEG 基本编码系统,基于DCT的顺序编码算法基本步骤,将原图像用亮度、色差表示（分量图像采样4：1：1） 分成88数据块, 数据0255转换为-128127 进行正向离散余弦变换(FDCT) 量化(quantization) Z字形(zig-zag)扫描 使用DPCM对直流系数(DC)进行编码 使用行程编码对交流系数(AC)进行编码 熵编码(entropy coding)：哈夫曼或算术编码,JPEG 压缩效果,6.1.3 基于DCT的渐进编码,基本思想 此模式与顺序模式编码步骤基本一致，不同之处在于渐进编码模式每个图像分量的编码要经过多次扫描才完成。第一次扫描只进行一次粗糙的压缩，然后根据此数据先重建一幅质量低的图像，以后的扫描再作较细的扫描，使重建图像质量不断提高，直到满意为止,基本步骤 （1）降低原始图像的空间分辨率。 （2）对已经降低分辨率的图像按照顺序编码模式进行 压缩并存储或传输。 （3）对低分辨率图像进行解码，然后用插值法提高图 像的分辨率。 （4）将分辨率已经升高的图像作为原图像的预测值， 并把它与原图像的差值进行基于DCT的编码。 （5）重复步骤3、4直到图像达到完整的分辨率。,6.1.3 基于DCT的渐进编码,分级编码的操作模式是把一幅原始图像的空间分辨率分成多个低分辨图像进行“锥形”编码的方法。例如，水平方向和垂直方向分辨率均以 2n的倍数改变，如图所示。,6.1.4 基于DCT的分级编码,ITU-T SG8和ISO/IEC JTC1 SC29 WG1联合开发的静态图像压缩编码标准(ISO/IEC 15444)，标准名为“JPEG 2000: Image Coding System” 。 开发工作始于1996年1月，其目标是增强对连续色调图像的压缩效率、管理和传输，而又不使图像质量有明显的损失。 使用小波变换技术提高压缩比，用户可控制图像的分辨率，用在网络上传输时可按照用户要求下载各种分辨率的图像。 可提供无损压缩的图像，在文档中可提供更多的颜色信息。,6.1.5 JPEG2000 标准概述,JPEG 2000标准的主要内容 （1）JPEG 2000最小编、解码系统，是JPEG 2000核心系统； （2）扩展系统，在核心系统的基础上添加了一些功能； （3）运动JPEG 2000，针对运动图像提出的解决方案； （4）兼容性； （5）参考软件； （6）复合图像文件格式，主要针对印刷和传真应用； （7）技术报告，介绍实现一部分所需的最少支持环境（已被废弃）； （8）JPSEC，针对安全应用（加密、水印技术）； （9）JPIP，针对交互应用协议； （10）JP3D，针对3D图像； （11）JPWL，针对无线应用； （12）基本媒体文件格式。,JPEG 2000的编、解码原理框图,JPEG2000 压缩效果,JPEG2000 压缩效果,支持可分级（scalable）编码 分辨率可分级 质量（信噪比）可分级 提供灵活的解码 支持感兴趣区(region of interest, ROI)的编码 可指定感兴趣的图像区域，在压缩时对这些图像区指定特定的压缩质量，这给用户带来了极大的方便。例如，在有些情况下图像中只有一小块区域对用户是有用的，对这些区域采用低压缩比，而其他区域采用高压缩比，在保证不丢失重要信息的同时能有效地压缩数据量,6.1.7 JPEG2000 的主要特点,6.1 静止图像编码标准 6.2 数字视频编码的标准化进展 6.3 MPEG-1/MPEG-2视频编码标准 6.4 MPEG-4视频编码标准 6.5 H.263视频编码标准 6.6 H.264/AVC视频编码标准 6.7 AVS视频编码标准,第6章 数字图像与视频压缩编码标准,6.2 数字视频编码的标准化进展,国际上数字视频编码标准主要有两大系列。一个系列由国际标准化组织（ISO）和国际电工委员会（IEC）制定，另一个系列由国际电信联盟电信标准部（ITU-T）制定。 ISO/IEC: JPEG,JPEG2000,MPEG-1/2/4/7 ITU-T: H.261/2/3/4 制定这些标准的背景有所不同，面向的主要应用也有所区别，它们采用的技术有很多共同点，应用领域有所重叠。 两者合作制定标准（例如，MPEG-2/H.262 和 MPEG-4 AVC/H.264）,H.264 / MPEG-4 AVC,H.263+,H.263 +,MPEG-1,MPEG-4,视频编码标准：历史,JPEG,JPEG2000,6.1 静止图像编码标准 6.2 数字视频编码的标准化进展 6.3 MPEG-1/MPEG-2视频编码标准 6.4 MPEG-4视频编码标准 6.5 H.263视频编码标准 6.6 H.264/AVC视频编码标准 6.7 AVS视频编码标准,第6章 数字图像与视频压缩编码标准,6.3 MPEG-1/MPEG-2视频编码标准,6.3.1 I帧、P帧和B帧 6.3.2 视频码流的分层结构 6.3.3 MPEG-1/-2视频编解码原理 6.3.4 MPEG-2的功能扩展,6.3.1 I帧、P帧和B帧,MPEG标准所规定的视频编码算法在实现高压缩比的同时，又能获得较高的重建图像质量，并且还要满足能够随机存取的要求。所以，MPEG标准将编码图像分为三种类型： I（Intra）帧 P（Predicated）帧 B（ Bidirectionally-predictive）帧,1I帧 I帧，又称帧内编码帧，是作为预测基准的独立帧。该帧采用类似JPEG算法的帧内DCT编码，压缩比相对较低。 设置I帧的主要理由 （1）当某帧找不到匹配的参考帧时，就只好进行帧内编码，场景切换或图像中的“遮挡”和“暴露”部分就是这种情况的例子； （2）解码I帧不需要参考帧，因而可以在I帧进行码流的切换和编辑等操作，提供随机存取的插入点； （3）长时间连续地进行预测编码，预测误差会不断累积，使压缩效率逐渐降低，图像质量不断下降。为防止解码图像损伤的逐渐加剧，需定时进行帧刷新，即周期性地插入I帧，以便重新开始一个新的预测编码过程。,2P帧 P帧，又称前向预测编码帧。它用前面最近的I帧或P帧作为参考进行前向预测，采用带运动补偿的帧间预测编码方式。由于同时利用了空间和时间上的相关性，所以P帧比I帧的压缩效率高。P帧也可作为参考帧。,P帧的压缩编码算法 算法原理 P帧的编码以宏块(MB)为基本单元，一个宏块定义为1616像素的像块 P帧使用两种类型的参数表示 当前要编码的图像宏块与参考图像的宏块之间的差值 宏块的运动矢量(motion vector, MV),3B帧 B帧，又称双向预测编码帧。它既用源视频序列中位于前面且已编码的I帧或P帧作为参考帧，进行前向运动补偿预测，又用位于后面且已编码的I帧或P帧作为参考帧，进行后向运动补偿预测。即B帧可采用帧内编码、前向预测编码、后向预测编码、或双向预测编码4种技术，其压缩比最高。但B帧不能用作对其他帧进行运动补偿预测的参考帧。,视频数据经过压缩编码后形成视频基本码流（ES）。MPEG为了更好地表示编码比特流，用句法规定了一个分层结构，共分6层，从高到低依次是： (1) 视频序列 (sequence)层 (2) 图像组 (group of pictures，GOP)层 (3) 图像 (picture)层 (4) 宏块条(slice)层 (5) 宏块 (macroblock，MB)层 (6) 像块(block)层,6.3.2 视频码流的分层结构,MPEG-2与MPEG-1的视频编码原理方框图基本相同，如图6-11所示，采用运动补偿帧间预测编码、DCT编码以及熵编码相结合的方案。 利用运动补偿帧间预测编码消除电视图像信号的时间冗余； 利用DCT消除信号的空间冗余； 对运动矢量和量化后的DCT系数进行熵编码，消除符号统计冗余，以达到进一步压缩数码率的目的。,6.3.3 MPEG-1/-2视频编解码原理,图6-11 MPEG-2 视频编码原理框图,图6-12 MPEG-2解码器的结构框图,1MPEG-2定义了“档次”与“级”的概念 2MPEG-2有“按帧编码”和“按场编码”两种模式 3MPEG-2增加了可分级性,6.3.4 MPEG-2的功能扩展,MPEG-2标准适用范围广，为了解决通用性和特殊性的矛盾，支持灵活的性能价格比，MPEG-2在单一语法的基础上，针对不同的应用，规定了不同的压缩处理方法，即不同的语法子集，这样的语法子集称为“档次”（Profile）。 然而，在同一语法子集中（即同一“档次”中）需要处理的输入图像格式（如分辨率）可能有很大的差别，于是MPEG-2又提出了“级”（Level）的概念。,1. “档次”与“级”的概念,可分级编码使原本一体的码流呈现一种分层结构，使其中的部分码流可单独解码，从而可得到不同的分辨率和所需的数码率。 基本层编码(base-layer coding) ：编码、传输和解码可单独进行 增强层编码(enhancement-layer coding)：编码、传输和解码要依赖基本层或先前的增强层才能完成