2020 6 10 第一章数字视频基础 1 0 视频应用1 1 人类视觉系统与模型1 2 彩色模型1 3 数字视频基础1 4 多维随机信号分析 视频应用 视频应用 图像与视频信号处理无所不在 视频应用 目标的检测与识别 图像与视频拼接 普通相机视场 50 350 人眼视场 200 1350 全景拼接 PanoramicMosaic 360 1800 运动视频分析系统 运动视频分析系统 运动视频分析系统 1 1 人眼的视觉特性与模型 2020 6 10 1 1 人眼的视觉特性与模型 人眼的构造视网膜的结构 杆状细胞 锥状细胞 视细胞的分布人眼的视觉特性视觉的适应绝对视觉阈阈值对比度光谱灵敏度分辨力视觉系统的调制传递函数 2020 6 10 视网膜 视网膜的结构杆状细胞锥状细胞视细胞的分布 2020 6 10 视觉的适应 明视觉暗视觉中介视觉颜色适应 2020 6 10 人眼的视觉特性 绝对视觉阈 全黑视场下 人眼感觉到的最小光刺激值 约10 9lx量级 阈值对比度 时间不限 使用双眼探测一个亮度大于背景亮度的圆盘 察觉概率为50 时 不同背景亮度下的对比度 对比度C 当Lt和Lb分别为目标与背景的亮度时 对比度表示为 由于背景亮度 对比度和人眼所能探测的目标张角三者之间存在制约关系 Wald定律 特别是在目标张角 7 时 存在Rose定律 2020 6 10 人眼的视觉特性 光谱灵敏度 光谱光视效率 人眼对各种不同波长的辐射光有不同的灵敏度 响应 对大量正常视力观察者的实验表明 在较明亮环境中 人眼视觉对波长0 555 m左右的绿光最敏感 在较暗条件下 人眼视觉对波长0 512 m左右的黄绿光最敏感 右图给出不同视场亮度下 人眼的光谱光视效率曲线 人眼的分辨力 人眼能区分两发光点的最小角距离称为极限分辨角 其倒数为人眼分辨力 从内因分析 影响分辨力的因素为眼睛的构造 从外因分析 是目标的亮度与对比度 人眼会根据外界条件自动进行适应 从而可以得到不同的极限分辨角 人眼观察物体的要求 灵敏度 以量子阈值表示时 最小可探测的视觉刺激是58 145个蓝绿光 波长为0 51 m 的光子轰击角膜引起的 据估算 这一刺激只有5 14个光子实际到达并作用于视网膜上 分辨力 对比度 图案不同 对对比度的要求也不同 如点与点 26 方波条纹之间 3 信噪比 人眼观察物体需要排出干扰 如果干扰太大将影响到人眼的观察效果 图案不同 人眼对信噪比的要求不同 如方波图案 1 1 5左右 余弦图案 3 3 5左右 10 6lx 10 5lx 10 4lx 10 3lx 光波与颜色 波长与颜色关系 次声波 声波 无线电波 微波 红外线 红色光 紫色光 紫外线 X射线 可见光 可见光频率范围 红橙黄绿兰紫4 3X1014Hz 7 5X1014 光波与颜色 由红绿蓝三色组成的颜色 光的特征 色调 主频率决定颜色亮度单位时间 单位角度 单位投射面上光源幅射能量饱和度 纯度该频率的颜色表现能量分布 能量E 频率 红 紫 白色光 某主频光 纯度依赖于Ed与Ew差别Ew 0纯度100 Ed Ew纯度0 Ew Ed 红 紫 RGB三基色 RGB三基色基本颜色可用来生成其他颜色的两种或三种颜色Blue 435 8nmGreen 546 1nmRed 700nm二次色品红 magenta 红 蓝青 cyan 蓝 绿黄 yellow 红 绿补色 标准基色和色度图 原色 如果将X Y Z三种颜色适当混合即可产生白色效果 而其中两种颜色组合不能产生第三种颜色 这三种颜色称为原色 即红 绿 兰为原色 实验发现 很多颜色的光无法用RGB三种原色组合获得 例如 500nm颜色 G B RRGB彩色监视器无法获得 标准基色和色度图 XYZ颜色模型CIE 国际照度委员会 X Y Z表示产生一种颜色所需要的三基色的量 X 0 4902R 0 3099G 0 1999BY 0 1770R 0 8123G 0 0107BZ 0 0000R 0 0101G 0 9899Bx y z 色系数 2 标准基色和色度图 CIE色度图作用 为不同基色组比较整个颜色范围标识互补颜色确定颜色主波长和纯度 2 标准基色和色度图 2 标准基色和色度图 续 3 RGB颜色模型 R 红 G 绿 B 蓝 0 0 0 代表黑色 1 1 1 代表白色一种颜色 3 RGB颜色模型 R 红 G 绿 B 蓝 0 0 0 代表黑色 1 1 1 代表白色一种颜色 3 RGB颜色模型 R 红 G 绿 B 蓝 0 8 0 7 0 1 0 2 0 7 CMY 青 品红 黄 CMYK 青 品红 黄 黑 运用在大多数在纸上沉积彩色颜料的设备 如彩色打印机和复印机CMYK打印中的主要颜色是黑色等量的CMY原色产生黑色 但不纯在CMY基础上 加入黑色 形成CMYK彩色空间 4 CMY颜色模型 RGB是加色模型 CMY是减色模型 5 HSI颜色模型 面向视觉感知的颜色模型HSI 色调hue 饱和度saturation 亮度intensity 两个特点 I分量与图像的彩色信息无关 H和S分量与人感受颜色的方式是紧密相连的 将亮度 I 与色调 H 和饱和度 S 分开 避免颜色受到光照明暗 I 等条件的干扰 仅仅分析反映色彩本质的色调和饱和度 广泛用于计算机视觉 图像检索和视频检索 5 HSI颜色模型 H 色调 为角度 从0到360 S 色饱和度 从0到1 S 0时只有灰度 I 明度 I从0到1 I 0是黑色 I 1是白色 RGB RGB图像同与之对应的HIS图像 HISRGB 彩色图象的R G B和H S I各分量的图示 下图给出1组用灰度图形式表示彩色图象的例子 其中图 a 图 b 图 c 分别为1幅彩色图象的R G B分量 每个分量用8bit表示 图 d 图 e 图 f 分别为这幅彩色图象的H S I分量 每个分量也各用8bit表示 1 3 数字视频基础 模拟视频与数字视频视频 Video 最初是在电视系统中提出的 20世纪20年代后期 光电管及阴极射线管为核心技术的全电子电视系统问世后 才有真正意义上的视频 即黑白视频 在不考虑电视调制发射和接收等诸多环节 仅考虑和研究电视基带信号的摄取 改善 传输 记录 编辑 显示的技术就叫做 视频技术 主要应用于广播电视的摄录编系统 安全及监控 视频通信和视频会议 远程教育及视听教学 影像医学 影音娱乐和电子广告等行业和领域 1 3 数字视频基础 视频 动态图像 是一组图像按时间顺序的连续展示 按信号组成和存储方式的不同 模拟视频 是由连续的模拟信号组成的图像序列 像电影 电视和录像的画面 数字视频 是一系列连续的数字图像序列 帧 一段视频中的每一幅图像称为一帧 根据视觉暂留原理 要使人的视觉产生连续的动态感觉 每秒钟图像的播放帧数要在24 30 帧频 帧频 每秒播放的帧数 图像序列构成视频 数字视频 广义的数字视频 是指依据人的视觉暂留特性 借助计算机或微处理器芯片的高速运算 加上Codec技术 传输存储技术等来实现的以比特流为特征的 能按照某种规律和标准在显示终端上再现活动影音的信息媒介 狭义的数字视频 是指与具体媒体格式所对应的数字视频 如DV格式数字视频 DVD光盘格式数字视频 AVI桌面格式数字视频 RM流媒体格式数字视频 MP4固体存储数字视频等 低通滤波器容许低频信号通过 减弱 或减少 频率高于截止频率的信号的通过 取样 采样 将时间和幅度上连续的模拟信号转变为时间离散的信号 即时间离散化 取样频率至少是模拟信号最高频率的两倍 一般选在2 5倍左右 量化将幅度连续信号转换为幅度离散的信号 即幅度离散化 度量每一个取样值 归类于设定的量化电平中的一个电平 量化电平越细 失真程度越低 数字化后的比特率越高 反之 相反 一般来说 二进制方式 其量化比特为8的话 其量化电平数为28 即256个量化电平 ITU 601标准规定 演播室用量化位数为10bit 用于传输的量化位数为8bit 编码按照一定的规律 将时间和幅度上离散信号用对应的二进制或多进制代码表示 2比特码8比特码 4个 256个 1110001011101000101001100010010010001000 以上是分别用2和8比特码量化的电平 根据取样的量化电平数 确定量化比特码数 视频数字化将视频信号经过视频采集卡转换成数字视频文件存储在数字载体中 下面以计算机广泛采用的数字化技术 即flashA D变换器来具体看一下数字化工作情况 将图像分成栅状 每个小格子代表像素 且位置确定 Flash变换器对每个像素取样 量化 编码后 将这些数据存储到存储器中 计算机技术中 一个字节可以表示0 255范围内的值 但作为视频信号幅度 只能在0 100IRE单位之间 注 IRE是视频测量中的单位 广播级视频电平规定了任何视频信号在播放时的亮度电平都不能超过100IRE 视频分辨率 视频质量通常用线分辨率来度量 本质上是表示在显示器上可以显示多少不同的黑白垂直线 标准清晰度 标准清晰度视频通常定义为480或576的隔行有效扫描线的视频 分别称为 480i 和 576i 固定像素 非CRT 具有4 3宽高比的消费类显示器通过转换后 对应于720 480i或720 576i的有效分辨率 对于16 9的宽高比 转换后的有效分辨率对应于960 480i或960 576i 增强清晰度 增强清晰度视频通常定义为480或576的逐行有效扫描线的视频 分别称为 480p 和 576p 固定像素 非CRT 具有4 3宽高比的消费类显示器通过转换后 对应于720 480p或720 576p的有效分辨率 对于16 9的宽高比 转换后的有效分辨率对应于960 480p或960 576p 高清晰度 高清晰度视频通常定义为具有720逐行 720p 或1080隔行 1080i 有效扫描线的视频 固定像素 非CRT 具有16 9宽高比的消费类显示器通过转换后的有效分辨率对应于1280 720p或1280 1080i 视频质量评估与方法 数字视频的质量直接反映了用户使用视频通信业务时的主观感受 因而要求采用合理的标准对视频质量进行快速 准确的评价 图像质量评价标准视频传输质量评估 图像质量评价标准 主观评价 观察者打分统计计算平均值作为评价结果 平均评价分值 MOS 双刺激连续质量分级法 交替播放待评估序列和基准序列进行直接质量比较 观察者打分 平均值作为评价结果 最大程度降低图像场景情节对评测影响 单刺激连续质量评价方法 只播放待评价序列 观察者观看同时根据评分表打分 图像质量评价标准 客观测量 相对评估和绝对评估相对评估 将压缩或经传输的视频与原始视频比较以获得相对评估指标值 由此评估图像质量 一般用于视频制作时的质量评估 准确性高 均方根误差 MSE 峰值信噪比 PSNR 绝对评估 直接对压缩或经传输的视频进行评估获得指标值 由此评估图像质量 一般在线观看测试 准确性稍低 视频传输质量评估 在通信和互联网应用中信源端和接收端对图像质量主要影响因素 可用带宽 衡量用户从网络取得互联网视频应用数据的能力 延时 延迟超出缓存能力时 会发生丢包 影响图像质量 丢包 导致图像质量劣化的最根本原因 码率波动 播放视频时接收端要求稳定码流 码率波动过大会导致解码器主动丢包以保证前后视频质量一致 引起质量下降 视频传输质量评估 评估主观视觉效果 图像跳跃 由于网络拥塞造成丢包使图像帧间运动不平滑 有类似快进现象 块效应 由于传输误码造成的 是所有基于DCT技术压缩都可能出现的现象 模糊度 由于编码器为了适应固定码率而产生的 图像高频细节部分丢失造成图像边缘模糊 噪声 由于采集和存储图像过程中 高频细节劣化产生的附加像素点 彩色电视制式 NTSC彩色电视制式是1952年美国国家电视标准委员会定义的彩色电视广播标准 称为正交平衡调幅制 美国 加拿大等大部分西半球国家 以及日本 韩国 菲律宾等国和中国的台湾采用这种制式 彩色电视制式 德国在1962年制定了PAL彩色电视广播标准 称为逐行倒相