第四章 视频信号处理 41 视频信号概述 411 视频信号的表示（种类、属性） 412 视频信号的编码和译码 413 图象的颜色模型 414 电视信号概述 415 图象的文件格式 42 基本的图像编码技术 421 行程编码 422 哈夫曼编码 423 LZW编码 424 二维预测编码 425 变换编码 43 静态图像的JPEG技术标准 431 JPEG的基本内容 432 编码算法 433 源图像数据 434 压缩数据的数据格式 44 动态图像的处理 441 动态图像处理中的关键技术 442 H261标准 443 MPEG动态图像标准,41 视频信号概述 411 视频信号的表示 一、视频信号的形式 提到视频信号，人们首先想到的是电视信号，这是一种动态视频图像信号；还有静态图像信号。其它如可视电话的图像信号也属于视频信号。 二、图像的属性 图像的属性主要有：分辨率、像素深度、真/伪彩色、图像的表示法和种类等。 各种图像信号有黑白和彩色；也有模拟和数字之分。图像信号的根源都是模拟的。 属性一： 分辨率 我们经常遇到的分辨率有两种：显示分辨率和图像分辨率。 1. 显示分辨率 2. 图像分辨率 属性二： 像素深度 和图象深度 属性三： 真彩色、伪彩色与直接色,三、图像的种类 在计算机中，有两种类型的图：矢量图(vector graphics)和位映像图(bitmapped graphics)。矢量图是用数学方法描述的一系列点、线、弧和其他几何形状，如图4-2(a)所示。因此存放这种图使用的格式称为矢量图格式，存储的数据主要是绘制图形的数学描述；位映像图(bitmapped graphics)也称光栅图(raster graphics)，这种图就像电视图像一样，由像点组成的，如图4-2 (b)，因此存放这种图使用的格式称为位映像图格式，经常简称为位图格式，存储的数据是描述像素的数值。,412 视频信号的编码和译码,彩色视频信号的编码过程框图如图 4-2-1 所示。图中假设视频信号源提供的是模拟的三基色R、G、B信号。该信号在彩色坐标变换中，实现式（4-2-1）所示的变换。先将R、G、B信号变换为亮度和二个色差信号（Y、U、V）。而后，对Y、U、V三个信号分别进行采样并进行A/D变换。后面的工作主要是对这些信号进行数据压缩，以保证在一定质量指标的基础上最大限度地减少数据量。经过数据压缩的彩色视频信号可用于传递（无线、光纤等），也可用磁盘（或磁带等媒体）存贮起来或用光盘将其记录下来。有关问题的细节，是本章后面要阐述的主要内容。,图 4-2-1 彩色视频信号的编码过程框图,当视频信号传送到接收端（或存贮于不同媒体的视频信号回放）时，视频信号要经过译码来恢复原始数据，译码过程框图如图 4-2-2 所示。,彩色信息源,坐标变换,映射变换,量 化,编 码,A/D变换,A/D变换,A/D变换,R,G,B,Y,U,V,解 码,坐标变换,彩色输出设备,D/A变换,D/A变换,D/A变换,传送 回放,图 4-2-2 视频信号译码过程框图 已压缩的视频信号经解码器进行解压缩，再由D/A变换器恢复亮度和二个色差信号（Y、U、V）。这三个信号（Y、U、V）经变换可恢复原始的R、G、B三基色信号。R、G、B加到输出设备上（最常见的输出设备就是电视机、监视器或彩色打印机等）供用户观察。 以上就是以彩色视频信号为例，说明其编码和译码的简单过程。,R,G,B,413 图象的颜色模型 4131 视角系统对颜色的感知 颜色是视觉系统对可见光的感知结果。可见光是波长在380 nm780 nm之间的电磁波，我们看到的大多数光不是一种波长的光，而是由许多不同波长的光组合成的。研究表明，人的视网膜有对红、绿、蓝颜色敏感程度不同的三种锥体细胞，另外还有一种在光功率极端低的条件下才起作用的杆状体细胞，因此颜色只存在于眼睛和大脑。在计算机图像处理中，杆状细胞还没有扮演什么角色。人的视觉系统对颜色的感知可归纳出如下几个特性： 1、眼睛本质上是一个照相机。人的视网膜(human retina)通过神经元来感知外部世界的颜色，每个神经元或者是一个对颜色敏感的锥体(cone)，或者是一个对颜色不敏感的杆状体(rod)。 2、红、绿和蓝三种锥体细胞对不同频率的光的感知程度不同，对不同亮度的感知程度也不同，如图4-03所示。这就意味着，人们可以使用数字图像处理技术来降低数据率而不使人感到图像质量明显下降。,图4-03 视觉系统对颜色和亮度的响应特性13,图4-03 视觉系统对颜色和亮度的响应特性13,4132 图像的颜色模型 一个能发出光波的物体称为有源物体，它的颜色由该物体发出的光波决定，使用RGB相加混色模型；一个不发光波的物体称为无源物体，它的颜色由该物体吸收或者反射哪些光波决定，用CMY相减混色模型。 1、 显示彩色图像用RGB相加混色模型 电视机和计算机显示器使用的阴极射线管(cathode ray tube，CRT)是一个有源物体。CRT使用3个电子枪分别产生红(Red)、绿(Green)和蓝(Blue)三种波长的光，并以各种不同的相对强度综合起来产生颜色，如图4-05所示。组合这三种光波以产生特定颜色称为相加混色，称为RGB相加模型。相加混色是计算机应用中定义颜色的基本方法。,颜色R(红色的百分比)G(绿色的百分比)B(蓝色的百分比) 当三基色等量相加时，得到白色；等量的红绿相加而蓝为0值时得到黄色；等量的红蓝相加而绿为0时得到品红色；等量的绿蓝相加而红为0时得到青色。这些三基色相加的结果如图4-06所示。,图4-05 彩色显像管产生颜色的原理,图4-06 相加混色,在多媒体计算机中，除用RGB来表示图像之外，还用色调-饱和度-亮度(hue-saturation-lightness，HSL)颜色模型 在HSL模型中，H定义颜色的波长，称为色调；S定义颜色的强度(intensity)，表示颜色的深浅程度，称为饱和度；L定义掺入的白光量，称为亮度。用HSL表示颜色的重要性，是因为它比较容易为画家所理解。若把S和L的值设置为1，当改变H时就是选择不同的纯颜色；减小饱和度S时，就可体现掺入白光的效果；降低亮度时，颜色就暗，相当于掺入黑色。因此在Windows中也用了HSL表示法，16色VGA调色板的值也表示在表5-02中。,表4-02 16色VGA调色板的值,2、 打印彩色图像用CMY相减混色模型 用彩色墨水或颜料进行混合，这样得到的颜色称为相减色。在理论上说，任何一种颜色都可以用三种基本颜料按一定比例混合得到。这三种颜色是青色(Cyan)、品红(Magenta)和黄色(Yellow)，通常写成CMY，称为CMY模型。用这种方法产生的颜色之所以称为相减色，是因为它减少了为视觉系统识别颜色所需要的反射光。 在相减混色中，当三基色等量相减时得到黑色；等量黄色(Y)和品红(M)相减而青色(C)为0时，得到红色(R)；等量青色(C)和品红(M)相减而黄色(Y)为0时，得到蓝色(B)；等量黄色(Y)和青色(C)相减而品红(M)为0时，得到绿色(G)。这些三基色相减结果如图4-07所示。,图4-07 相减混色,彩色打印机采用的就是这种原理，印刷彩色图片也是采用这种原理。按每个像素每种颜色用1位表示，相减法产生的8种颜色如表4-03所示。由于彩色墨水和颜料的化学特性，用等量的三基色得到的黑色不是真正的黑色，因此在印刷术中常加一种真正的黑色(black ink)，所以CMY又写成CMYK。,表4-03 相减色,表4-04 相加色与相减色的关系,RGB彩色空间和CMY彩色空间也可以使用图4-08所示的立方体来表示。,图4-08 RGB彩色空间和CMY彩色空间的表示法,4133 彩色空间的线性变换标准 为了使用人的视角特性以降低数据量，通常把RGB空间表示的彩色图像变换到其他彩色空间。目前采用的彩色空间变换有三种：YIQ, YUV和YCrCb。每一种彩色空间都产生一种亮度分量信号和两种色度分量信号，而每一种变换使用的参数都是为了适应某种类型的显示设备。其中，YIQ适用于NTSC彩色电视制式，YUV适用于PAL和SECAM彩色电视制式，而YCrCb适用于计算机用的显示器。 1、 YUV与YIQ模型 在彩色电视制式中，使用YUV和YIQ模型来表示彩色图像。在PAL彩色电视制式中使用YUV模型，其中的YUV不是那几个英文单词的组合词，而是符号，Y表示亮度，UV用来表示色差，U、V是构成彩色的两个分量；在NTSC彩色电视制式中使用YIQ模型，其中的Y表示亮度，I、Q是两个彩色分量。,YUV的优点： 1、YUV表示法的重要性是它的亮度信号(Y)和色度信号(U、V)是相互独立的 。 2、YUV表示法的另一个优点是可以利用人眼的特性来降低数字彩色图像所需要的存储容量。,2 YUV与RGB彩色空间变换 在考虑人的视觉系统和阴极射线管(CRT)的非线性特性之后，RGB和YUV的对应关系可以近似地用下面的方程式表示： Y = 0.299R + 0.587G + 0.114B U = - 0.147R- 0.289G + 0.436B V = 0.615R - 0.515G - 0.100B,3 YIQ与RGB彩色空间变换 RGB和YIQ的对应关系用下面的方程式表示： Y = 0.299R + 0.587G + 0.114B I = 0.596R - 0.275G - 0.321B Q = 0.212R - 0.523G + 0.311B 或者写成矩阵的形式，,4 YCrCb与RGB彩色空间变换 数字域中的彩色空间变换与模拟域的彩色空间变换不同。它们的分量使用Y、Cr和Cb来表示，与RGB空间的转换关系如下： Y0.299R0.578G0.114B Cr(0.500R0.4187G0.0813B)128 Cb=(-0.1687R0.3313G0.500B)128 或者写成矩阵的形式，,4.1.4.1 彩色电视制式 1、简介,三种彩色电视制式：NTSC制、PAL制和SECAM制。这里不包括高清晰度彩色电视HDTV (High-Definition television)。 NTSC(National Television Systems Committee)彩色电视制是1952年美国国家电视标准委员会定义的彩色电视广播标准，称为正交平衡调幅制。美国、加拿大等大部分西半球国家，以及日本、韩国、菲律宾等国和中国的台湾采用这种制式。 由于NTSC制存在相位敏感造成彩色失真的缺点，因此德国(当时的西德)于1962年制定了PAL(Phase-Alternative Line)制彩色电视广播标准，称为逐行倒相正交平衡调幅制。德国、英国等一些西欧国家，以及中国、朝鲜等国家采用这种制式。 法国制定了SECAM (法文：Sequential Coleur Avec Memoire)彩色电视广播标准，称为顺序传送彩色与存储制。法国、苏联及东欧国家采用这种制式。世界上约有65个地区和国家试验这种制式。 NTSC制、PAL制和SECAM制都是兼容制制式,2、 电视扫描和同步 扫描有隔行扫描(interlaced scanning)和非隔行扫描之分。非隔行扫描也称逐行扫描，图4-08表示了这两种扫描方式的差别。黑白电视和彩色电视都用隔行扫描，而计算机显示图像时一般都采用非隔行扫描。,(a) 逐行扫描,(b) 隔行扫描,每秒钟扫描多少行称为行频fH；每秒钟扫描多少场称为场频ff；每秒扫描多少帧称帧频fF。ff和fF是两个不同的概念。,1. PAL制电视的扫描特性 PAL电视制的主要扫描特性是： (1) 625行(扫描线)/帧，25帧/秒(40 ms/帧) (2) 高宽比(aspect ratio)：4:3 (3) 隔行扫描，2场/帧，312.5行/场 (4) 颜色模型：YUV,2. NTSC制的扫描特性 NTSC彩色电视制的主要特性是： (1) 52