第三讲 视频采样（二）视频信号的采样视频信号的采样与量化与量化数字视频采样之二数字视频基础提纲提纲视频信号采样视频信号采样视频信号量化视频信号量化视频采样率转换视频采样率转换2数字视频采样之二数字视频基础数字视频信号数字化模拟信号数字化模型模拟信号数字化模型l时时-空采样空采样l量化量化逐行扫描的三维采样隔行扫描的三维采样数字视频采样之二数字视频基础提纲提纲视频信号采样视频信号采样视频信号量化视频信号量化视频采样率转换视频采样率转换4数字视频采样之二数字视频基础连续时间信号采样连续时间信号采样 在日常生活中，常可以看到用离散时间信号表在日常生活中，常可以看到用离散时间信号表示连续时间信号的例子。如传真的照片、电视屏幕示连续时间信号的例子。如传真的照片、电视屏幕的画面、电影胶片等等，这些都表明连续时间信号的画面、电影胶片等等，这些都表明连续时间信号与离散时间信号之间存在着密切的联系。在一定条与离散时间信号之间存在着密切的联系。在一定条件下，可以用离散时间信号代替连续时间信号而并件下，可以用离散时间信号代替连续时间信号而并不丢失原来信号所包含的信息。不丢失原来信号所包含的信息。数字视频采样之二数字视频基础例例1. 一幅新闻照片一幅新闻照片数字视频采样之二数字视频基础局部放大后的图片局部放大后的图片数字视频采样之二数字视频基础1.如何对一个连续时间信号进行离散时间处理。如何对一个连续时间信号进行离散时间处理。2.在什么条件下，一个连续时间信号可以用它的离在什么条件下，一个连续时间信号可以用它的离散时间样本来代替而不致丢失原有的信息。散时间样本来代替而不致丢失原有的信息。3.如何从连续时间信号的离散时间样本不失真地恢如何从连续时间信号的离散时间样本不失真地恢复成原来的连续时间信号。复成原来的连续时间信号。4. 对离散时间信号如何进行采样、抽取，及内插。对离散时间信号如何进行采样、抽取，及内插。 研究连续时间信号与离散时间信号之间的关系研究连续时间信号与离散时间信号之间的关系主要包括主要包括 :数字视频采样之二数字视频基础视频信号采样模拟视频信号在时空上的离散化一维采样l在一系列离散点上对连续信号抽采样值采样定理l给定一个随时间变化的模拟信号，其频率 ，如果采样频率 则 可以由采样信号唯一确定（无失真地恢复原信号）l 称为奈奎斯特间隔采样信号原始模拟信号周期性采样脉冲9数字视频采样之二数字视频基础采样的数学模型：采样的数学模型：在时域：在时域：在频域在频域: :冲激串采样冲激串采样( (理想采样理想采样):):为采样间隔为采样间隔数字视频采样之二数字视频基础 可见，可见，在时域对连续时间信号进行冲激串采在时域对连续时间信号进行冲激串采样，就相当于在频域将连续时间信号的频谱以样，就相当于在频域将连续时间信号的频谱以 为周期进行延拓。为周期进行延拓。在频域由于在频域由于所以所以数字视频采样之二数字视频基础数字视频采样之二数字视频基础视频信号采样理想采样理想采样: 采样脉冲 是周期为 的单位冲激序列 ，即：13数字视频采样之二数字视频基础视频信号采样采样频率的选取对信号恢复的影响14数字视频采样之二数字视频基础视频信号采样二维采样l二维采样定理：若二维连续信号 的空间频率 和 分别限制在 、 ，则只要采样周期 、 满足 和 ，就可以由采样信号无失真地恢复原信号。l采样函数15数字视频采样之二数字视频基础如果图像信号为有限带宽的信号，那么根据上式可以看出，抽样后的图像信号fs(x,y)的频谱是原频谱F(,)沿轴和轴分别以u，v为间隔无限地周期重复的结果只要u2Um，v2Vm ，抽样后的图像信号频谱就不会出现混叠。因此通常在进行取样之前，图像信号首先经过一个低通滤波器，使其成为一个限带信号。当以满足上述条件的取样间隔进行取样时，取样后的图像频谱不会出现混叠的现象，这样可以利用一个低通滤波器将原图像频谱滤出，从而可无失真地重建原图像，这就是二维取样定理，也称为二维奈奎斯特取样定理。数字视频采样之二数字视频基础亚取样l当取样频率小于奈奎斯特取样频率时，通常称其为亚抽样。 l即如何在亚取样情况下，减少频谱混叠而引起失真？l菱形亚取样数字视频采样之二数字视频基础视频信号采样采样失真l混叠失真如果采样周期 和 不满足 和 ，即欠采样，则相邻周期的频谱将会发生重叠，恢复信号时就会产生混叠失真。l孔径失真采样脉冲存在一定的脉冲宽度，丧失某些高频成分，导致信号恢复产生误差和模糊。抑制混叠失真l其他噪声插入噪声、抖动噪声等18数字视频采样之二数字视频基础 视频信号采样v 基于采样定理，如果采用立方体点阵，每维上的 采样率至少应为该方向上最高频率的两倍。v 另一方面，人眼不能分辨超过一定截止频率的空 间和时间变化。 因此，尽管信号的最高频率可能变化相当大，而视觉视觉截止频率截止频率（即可以被HVS观察到的空间和时间的最高频率）应该是确定视频采样率的决定因素应该是确定视频采样率的决定因素，不需要包含这些值以外的频率成分。 数字视频采样之二数字视频基础提纲提纲视频信号采样视频信号采样视频信号量化视频信号量化视频采样率转换视频采样率转换20数字视频采样之二数字视频基础视频信号量化采样后所得到的信号在时间-空间上是离散的，但在幅度上仍然是连续的量化：将无限级的信号幅度变换成有限级的数码表示量化器：按照一定规则对采样信号的幅度值作近似表示有限离散值量化误差，量化失真（噪声）21数字视频采样之二数字视频基础视频信号量化量化的用途l模拟信号数字化-模数转换l数据压缩量化的分类l无记忆 vs 有记忆l均匀 vs 非均匀l对称 vs 非对称l标量量化 vs 矢量量化标量量化：对每个采样点独立地进行量化矢量量化：对k个采样点所组成的一组（一个矢量）进行量化22数字视频采样之二数字视频基础视频信号量化标量量化ffminfmaxQ(f)fminfmax为判决电平为量化电平23数字视频采样之二数字视频基础视频信号量化量化失真测度l均方误差l绝对值误差l加权绝对值误差均方误差（量化误差）24数字视频采样之二数字视频基础视频信号量化均匀量化l一种标量量化器，也称为线性量化器l量化间隔相等，即：l量化电平对应于电平区间 的中值，即：设 f 的概率密度函数为均匀分布量化误差为：量化层数L越大，则量化误差越小。但编码所需比特数也越大25数字视频采样之二数字视频基础Lloyd-Max 标量量化器-最佳均方量化器 MMSE问题：信号 f 的概率密度函数为 p(f) ，设计一个 L 个输出电平的量化器，以均方误差作为评判标准，使其最小：结果：Lloyd-Max 最佳均方量化器（MMSE，Lloyd 1957; Max 1960）lL-1 个判决电平(门限)精确地位于量化电平之间的中点lL 个 量化电平位于 两个连续判决电平之间的质心数字视频采样之二数字视频基础证明：根据讲述的量化失真度量公式，得 现在要对此多元方程求 D 的极小值，根据拉格郎日极值定理，分别对 zi 及 gi 求偏导，并使之为 0，得： 求解上述方程得：数字视频采样之二数字视频基础Lloyd-Max 标量量化器的设计基本思想：前面介绍的最佳量化器条件，即最小均方误差（MMSE）量化器的中心和质心条件。l给定 zi ，可以计算对应的最佳 gil给定 gi ，可以计算对应的最佳 zil显然，判决电平 zi 和量化电平 gi 的求解是一个相互依赖的过程。问题：如何同时计算最佳的 zi 和 gi ？答案：迭代，或查表法数字视频采样之二数字视频基础 视频信号的量化非均匀量化 在一定的比特率下，为了减少量化误差，往往采用非均匀量化方式，通常有两种情况。 基于人的视觉特性要求，由于人眼的掩 盖效应，对于亮度值急剧变化部分则不 需要进行过细的分层，只需进行粗量 化；而对亮度值变化比较平缓的部分， 就需要进行较细的分层，即需进行细量 化。数字视频采样之二数字视频基础 视频信号的量化 可先计算所有可能的亮度值出现的概率 分布，对于出现概率大的那些亮度值进 行细量化，用较少的比特数表示；对于 出 现 概 率 小 的 那 些 亮 度 值 则 进 行 粗 量 化，用较多的比特数表示。数字视频采样之二数字视频基础矢量量化矢量量化编码是近年来图像、语音信号编码技术中采用的一种量化编码方法。矢量量化编码方法一般是有失真编码方法。压缩符号串比压缩单个符号在理论上可产生更好的效果l如图像和声音的相邻数据项都是相关的矢量量化：量化时不是处理单个信源输出，而是一次处理一组符号（矢量）l得到更好的压缩性能：码率/失真更小矢量量化编码解码框图矢量量化编码解码框图 数字视频采样之二数字视频基础矢量量化以图像编码为例查表查表搜索距离最近的码字搜索距离最近的码字非对称编码：非对称编码：编码：编码：在输入与在输入与码本匹配过程中码本匹配过程中需大量计算需大量计算解码：解码：只需查表只需查表数字视频采样之二数字视频基础提纲提纲视频信号采样视频信号采样视频信号量化视频信号量化视频采样率转换视频采样率转换33数字视频采样之二数字视频基础视频采样率转换视频采样率转换视频采样率转换 对于多媒体信息（如语言、视频、数据等）的传输，由于它们的频率各不相同，采样率也就不同，所以有时需要进行采样率的相互转换。在视频系统中经常需要把视频信号从一种格式（指空间和时间分辨率）转换为另一种格式，即采样率的转换。数字视频采样之二数字视频基础v 在NTSC制系统中显示PAL视频信号；v 将电影转换为NTSC制视频信号显示； v 将计算机屏幕上显示的视频信号转换为 电视制作的节目。视频采样率转换视频采样率转换 数字视频由一种格式变换至另一种格式的工作被称为标准变换。标准变换是三维采样结构变换的问题，通常采用时间和空间的插值和抽取的方法。 数字视频采样之二数字视频基础一、一维信号的采样速率转换 在一维信号处理中v 增增加加采采样样率率的过程称为信号的“插插值值”， 也称为上采样上采样；v 减减少少采采样样率率的过程称为信号的“抽抽取取”， 也称为下采样下采样。这也就是所谓的多速率数字信号处理。视频采样率转换视频采样率转换数字视频采样之二数字视频基础视频采样率转换视频采样率转换 1、插值插值的方法插值的方法： 在已知抽样序列相邻两抽样点之间等间隔地插入(L-1)个零值点后得到信号，然后再对进行数字低通滤波，即可求得L倍插值后的结果，从而获得增加采样率的信号。插值处理一般分为两步进行： 用填零的方式进行上采样； 对已插入零值的信号进行低通滤波。数字视频采样之二数字视频基础插值法分析插值法分析： 对给定信号 ，对其进行L倍上采样，得到信号 该取样过程如图所示： = n = 0, , , 0 其它视频采样率转换视频采样率转换数字视频采样之二数字视频基础研究填零信号的频谱，对 上式做付氏变换，得到与原信号频谱相比，S(f) 的总带宽是 (-1/2, 1/2)，填零信号的频谱将原频率轴压缩，如下图所示。内插滤波器的作用是消除填零信号中的重复性频谱干扰。L=3倍上取样前后信号频谱比较原始信号频谱原始信号频谱3倍倍上上取取样样后后的的信号频谱信号频谱数字视频采样之二数字视频基础举例：举例：图3.11 L = 3时的插值过程(a) 原信号 (b) 插入零值后的信号图3.12 L = 3时的两种信号的频谱(a) 原信号 (b) 插入零值后的信号视频采样率转换视频采样率转换数字视频采样之二数字视频基础 然后再对 信号进行低通滤波，插入滤波的目的在于消除因填零过程中引起的“复制”。在时间域内，滤波操作可以看作是 经过一个平滑运算使得零采样值被非零值所代替。若低通滤波器选用理想的低通滤波器，则 = = = 视频采样率转换视频采样率转换数字视频采样之二数字视频基础图3.13 理想的输入滤波器（a）滤波前的频谱 (b) 滤波后的频谱视频采样率转换视频采样率转换数字视频采样之二数字视频基础 理想插入滤波器是不可能实现的，因为它是一个无限的脉冲响应，属于非因果关系的滤波器。因此，通常用 零阶保持插入滤波器零阶保持插入滤波器 或 线性插线性插入滤波器入滤波器 或 三次样条插入滤波器三次样条插入滤波器来代替它。 视频采样率转换视频采样率转换数字视频采样之二数字视频基础 2、抽取抽取的方法： 对 已 知 信 号 每 M个 采 样 中 取 出 一 个 得 到 信号，然后再去掉零点就得到了所需要的抽取序列 ，其中M称为抽样因子。抽取处理分为两步进行分析： 同一个脉冲序列相乘，以便代替每个带有零值 的第M个采样点之间的M-1个采样值； 丢掉零采样值以获取一个低速率的信号。视频采样率转换视频采样率转换数字视频采样之二数字视频基础抽取法分析抽取法分析：对给定输入信号 ，定义一个中间信号 为 再用M因子抽取的信号可表示为 对 求其傅立叶变换得 = = =视频采样率转换视频采样率转换数字视频采样之二数字视频基础 由此可得：中间信号的频谱由输入信号频谱复制而成，而得到的低速率信号是对于中间信号频率轴的扩展。=视频采样率转换视频采样率转换数字视频采样之二数字视频基础举例举例： 图图3.17 3.17 M M = = 2 2条条件件下下的的抽抽取取(a) (a) 输入信号输入信号(b) (b) 中间信号中间信号(c) (c) 下采样的信号下采样的信号图图 3.18 3.18 M M = = 2 2条条 件件 下下 的的 频频 谱谱(a) (a) 输入信号输入信号(b) (b) 中间信号中间信号(c) (c) 下采样的信号下采样的信号视频采样率转换视频采样率转换数字视频采样之二数字视频基础3、由有理因子改变采样速率采样速率是一个有理因子 ，则速率变换可分为以下三步进行分析： 首先，用L因子插入信号； 然后将插入滤波器和抽取的“反混叠”滤波器合并 为一个具有截止频率为 的低通 滤波器； 最后，用M因子来抽取其结果。=视频采样率转换视频采样率转换数字视频采样之二数字视频基础下图描述了一个采样速率通过 因子改变的系统结构图。 图图3.20 3.20 采样因子为时的采样速率变化采样因子为时的采样速率变化视频采样率转换视频采样率转换数字视频采样之二数字视频基础二、视频信号的采样率转换 1、去隔行 图图3.21 3.21 任意采样率转换示意图任意采样率转换示意图视频采样率转换视频采样率转换数字视频采样之二数字视频基础2、PAL与NTSC视频信号之间的转换 图图3.23 3.23 从从PALPAL转换到转换到NTSCNTSC制式的两种不同方法制式的两种不同方法(a) (a) 直接转换直接转换 (b) (b) 顺序实现顺序实现视频采样率转换视频采样率转换数字视频采样之二数字视频基础图图3.23 3.23 从从NTSCNTSC转换到转换到PALPAL制式的两种不同方法制式的两种不同方法(a) (a) 直接转换直接转换 (b) (b) 顺序实现顺序实现视频采样率转换视频采样率转换数字视频采样之二数字视频基础