第3章 多媒体信息压缩编码 标准宁晓燕 2016年秋季学期目录3.2 视频压缩编码标准3.1 静止图像压缩编码标准23.3 音频压缩编码标准3/66静止图像压缩编码标准3.1 静止图像压缩编码标准3.1.1 JPEG JPEG是Joint Photographic Experts Group（联合图像专家小组）的缩写，这个专家组开发的算法称为JPEG算法，并且成为国际上的彩色、灰度、静止图像的第一个国际标准，因此又称为JPEG标准。 JPEG定义了4种运行模式，其中一种是基于DPCM的无损压缩算法，另外三种是基于DCT的有损压缩算法 使用有损压缩算法时，在压缩比为25:1的情况下，压缩后还原得到的图像和原始图像相比较，非图像专家难以找到它们之间的区别，因此得到了广泛的应用。例如在V-CD和DVD-Video电视图像压缩技术中，就使用JPEG的有损压缩算法来取消空间方向上的冗余数据。 43.1 静止图像压缩编码标准无损方式，采用一维或者二维的空间域DPCM和熵编码。由于输入图像已经是数字化的，经空间域的DPCM之后，预测误差值也是一个离散量，因此可以不再量化而实现无损编码；顺序(Sequential)方式，其基本算法是将图像分成88的块，然后进行DCT、量化和熵编码（霍夫曼编码或者算术编码）；渐进(Progressive)方式，所采用的算法与顺序方式类似，不同的是扫描过程，它通过多次扫描的方法来对一幅图像进行数据压缩。扫描过程采取由粗到细逐步累加的方式进行。先传送部分DCT系数信息（例如低频系数、或所有系数的近似值），使接收端尽快获得一个“粗略”的图像，然后再将剩余频带的系数（或所有系数的低比特位数据）渐次传送，最终形成清晰的图像；分层(Hierachical)方式，这种模式是以图像分辨率为基准进行图像编码的。在此方式中，首先将输入图像的分辨率逐层降低，形成一系列分辨率递减的图像。先对分辨率最低的底层图像进行编码，然后，将经过内插的低层图像作为上一层图像的预测值，在对预测误差进行编码，以此类推，直至顶层。53.1 静止图像压缩编码标准 无损压缩编码方式 在传真机、静止画面的电话电视会议应用中，根据其特点JPEG采用DPCM（差分脉冲编码调制）无损压缩编码方案，其编码过程如下图所示。其中的无失真熵编码可以采用霍夫曼编码或者算术编码。63.1 静止图像压缩编码标准 基于DCT的有损压缩编码方式基于DCT的JPEG压缩算法是有损压缩，它利用了人的视觉系统的特性， 使用量化和无损压缩编码相结合来去掉视角的冗余信息和数据本身的冗 余信息。有损压缩编码大致分成三个步骤：（1）使用正向离散余弦变换（Forward Discrete Cosine Transform，FDCT）把空间域表示的图变换成频率域表示的图。 （2）使用加权函数对DCT系数进行量化，这个加权函数对于人的视觉系统是最佳的。 （3）使用哈夫曼可变字长编码器对量化系数进行编码。73.1 静止图像压缩编码标准8/663.1 静止图像压缩编码标准JPEG压缩编码基本原理基于DCT编码的JPEG压缩算法可由如下的几个步骤实现：1、颜色模式转换及采样；2、正向离散余弦变换（FDCT）；3、量化（Quantization）；4、编码：（1）Z字形编码（Zigzag Scan）；（2）使用差分脉冲编码调制（DPCM）对直流系数 （DC）进行编码；（3）使用行程长度编码（RLE）对交流系数（AC）进 行编码；（4）熵编码 译码或者叫做解压缩的过程与压缩编码过程相反。 93.1 静止图像压缩编码标准1、颜色模式转换及采样JPEG 的图片使用的是 YCrCb 颜色模型， 而不是计算机上最常用的 RGB。 YCrCb 模 型更适合图形压缩。因为人眼对图片上的亮度 Y 的变化远比色度 C 的变化敏感。 从RGB转换成YCrCb：Y0.299R+0.587G+0.114BCr(0.500R-0.4187G-0.0813B)+128 Cb(-0.1687R-0.3313G+0.500B)+128常用的采样格式有4：1：1和1：1：1 1：1：1采样就是保留所有的YCrCb值，相当于每个像素点用1个Y样本、1个Cr样 本、1个Cb样本表示。而4：1：1采样是指对于一个22像素的数据块，取4个亮度 Y样本、1个红色差Cr样本、1个蓝色差Cb样本 。10RGBYCbCr3.1 静止图像压缩编码标准3.1 静止图像压缩编码标准2、正向离散余弦变换（FDCT）DCT要求输入数据是一个88的矩阵，且每个矩阵元素具有8bit精度。12如上图所示，对每个图像块做离散余弦变换。通过DCT变换可以 把能量集中在矩阵左上角少数几个系数上。P(i,j)经DCT变换之后得到T(i,j)，其中T(0,0)是直流系数，称为DC 系数，其他为交流系数，称为AC系数。 3.1 静止图像压缩编码标准3 、量化为了达到压缩数据的目的，DCT系数需做量化。量化是对经过FDCT变换后的频率系数进行量化，这是一个多到一映射的过程。量 化的目的是减小非0系数的幅度以及增加0值系数的数目，将信号幅值由连续量变 成离散量,在一定的主观保真的前提下，丢掉那些对视觉效果影响不大的信息。量 化是图像质量下降的最主要原因。对于有损压缩算法，JPEG算法使用如图4所示的均匀量化器进行量化，量化步距 是量化表的元素，它由系数所在的位置和每种颜色分量的色调值来确定。3.1 静止图像压缩编码标准因为人眼对亮度信号比对色差信号更敏感，因此使用了两种量化表：如 表1所示的色度量化值（针对Cr，Cb）和表2所示的亮度量化值（针对Y ）。此外，由于人眼对低频分量的图像比对高频分量的图像更敏感，因 此图中左上角的量化步距要比右下角的量化步距小。表1 色度量化值 表2 亮度量化值注意：JPEG文件中量化表中的64个值是按z字形顺序排列的3.1 静止图像压缩编码标准量化的计算公式：量化值(i,j)T(i,j)量化矩阵(i,j) 在解码过程中，逆量化公式为：T(i,j)量化值(i,j)量化矩阵(i,j) 效果图经量化后，源图像（左）与IDCT运算后得到的图像（右）会产生一定的 失真，失真程度视量化等级而定。3.1 静止图像压缩编码标准3.1 静止图像压缩编码标准3.1.2 JPEG2000 虽然JPEG 标准是一个非常成功的标准，但在一些新的应用如高清图像、数字图书馆、高精确彩色图像、多媒体和因特网的应用、无线、医学图像等方面，JPEG 表现出不足，因此弥补JPEG对连续色调静止图像的无损压缩和近无损压缩效率不高的缺陷，最终提出了JPEG2000标准。 该标准采用了先进的压缩技术并在可伸缩压缩图像及灵活性方面有许多先进的特征，其系统功能比JPEG 标准优越，尤其JPEG2000 采用的是离散小波变换（DWT）替代了JPEG 中采用的离散余弦变换(DCT），并采用了最新的编码算法来支持灵活性，这样许多应用只需用单一码流提供。JPEG2000 可广泛应用于通信、图像处理、信号处理、信息理论和多媒体等领域中。17JPEG2000性能特点 1、高压缩率 JPEG2000压缩性能比JPEG提高了3050%，同时，使用JPEG2000的系统稳定性好，运行平稳，抗干扰性好，易于操作。 2、可伸缩性编码JPEG2000支持类似于分层方式的空间分辨率可伸缩性和信噪比可伸缩性编码。后者意味着可以在已编码流的不同点截断，以获得信噪比不同的重建图像。这是JPEG2000一个极其重要的特征，它可以先传输图像的轮廓，然后逐步传输数据，不断提高图像质量，让图像由朦胧到清晰显示，而不必像现在的 JPEG 那样，由上到下慢慢显示，这在网络传输中有重大意义。 3.1 静止图像压缩编码标准 3、支持ROI编码 在有些应用中，图像的某个区域比其他区域（背景）具有更高的重要性，这个重要区域称为感兴趣区ROI(Region of Interest)。JPEG2000支持对ROI进行比背景质量更高的编码。3.1 静止图像压缩编码标准用户可以任意指定图像上感兴趣区域的压缩质量，还可以选择指定的部分先解压缩，从而使重点突出。这种方法的优点在于它结合了接收方对压缩的主观需求，实现了交互式压缩。JPEG2000关键技术 JPEG2000与传统JPEG最大的不同在于它放弃了JPEG所采用的以离散余弦变换为主的区块编码方式，转而采用以小波变换为主的多解析编码方式。 余弦变换是经典的谱分析工具，它考察的是整个时域过程的频域特征或整个频域过程的时域特征，因此对于平稳过程，它有很好的效果，但对于非平稳过程，它却有诸多不足。图像的压缩率越高，频率信息被丢弃的越多。小波变换是现代谱分析工具，它既能考察局部时域过程的频域特征，又能考察局部频域过程的时域特征，因此即使对于非平稳过程，处理起来也得心应手。它能将图像变换为一系列小波系数，这些系数可以被高效压缩和存储。此外，小波的粗略边缘可以更好地表现图像，因为它消除了DCT压缩普遍具有的方块效应。3.1 静止图像压缩编码标准小波变换压缩编码示例小波变换是时间(空间)频率的局部化分析，它通过伸缩平移运算对信号(函数)逐步进行多尺度细化，最终达到高频处时间细分，低频处频率细分，能自动适应时频信号分析的要求，从而可聚焦到信号的任意细节。小波压缩效果示例（压缩比50:1） 3.1 静止图像压缩编码标准22/66小波变换多尺度分解示意图23/66根据实际需要决定码流的组织结构24多分辨率25多分辨率26多分辨率27多分辨率28多级量化29多级量化30多级量化31/66EZW嵌入式码流解码效果示意图32/66JPEG JPEG2000压缩比为0.25bpp时两种压缩标准图像恢复质量对比33/66JPEG JPEG2000压缩比为0.125bpp时两种压缩标准图像恢复质量对比Original (979 KB)JPEG (6.21 KB)JPEG 2000 (1.83 KB)3.1 静止图像压缩编码标准35/66视频压缩编码国际标准36/6637/6638/6639/663.2 视频压缩编码国际标准3.2.1 MPEG系列标准 MPEG是Moving Picture Experts Group的英文缩写，其含义是活动图像专家组。 MPEG-1是1993年8月正式通过的技术标准，其全称为“适用于约1.5Mbit/s以下数字存储媒体的运动图像及伴音的编码”。 MPEG-2的正式名称是“ISO/IEC 13818:运动图像和相关声音信息的一般编码方法”，其第一版草案制定于1992年，1994年正式颁布成为国际标准。MPEG-2是针对标准数字电视和高清数字电视在各种应用下的压缩方案和系统层的详细规定，也是国际主流的SDTV和HDTV的编码标准。 MPEG-4是1999年1月公布了该标准的V1.0版本，同年12月公布了V2.0版本。该标准主要应用于超低速系统之中。403.2 视频压缩编码国际标准例如多媒体Internet、视频会议和视频电视等个人通信、交互式视频游戏和多媒体邮件、基于网络的数据业务、光盘等交互式存储媒体、远程视频监视及无线多媒体通信。特别是它能够满足基于内容的访问和检索的多媒体应用，并且其编码系统是开放的，可随时加入新的有效算法模块 MPEG-7是2000年11月颁布的称为“多媒体内容描述接口”的标准。定义该标准的目的是指定出一系列的标准描述符来描述各种媒体信息。这种描述与多媒体信息的内容有关，这样将便于用户进行基于内容和对象的视听信息的快速搜索。可见MPEG-7与其他MPEG标准的不同之处在于它只提供了与内容有关的描述符，并不包括具体的视音频压缩算法，而且还未形成与内容提交有关的所