第二章第二章 多媒体与密码学技术基础多媒体与密码学技术基础1信息隐藏技术_第二章_多媒体与密码学技术基础第一章概述内容回顾实例演示信息隐藏技术的重要性发展历程基本概念和范畴主要应用领域2024/7/252信息隐藏技术_第二章_多媒体与密码学技术基础第二章主要内容多媒体基本概念多媒体压缩原理多媒体主要标准介绍有关的密码学知识介绍2024/7/253信息隐藏技术_第二章_多媒体与密码学技术基础什么是多媒体Multimedia (Wikipedia)Multimedia is media and content that utilizes a combination of different content forms. In general, multimedia includes a combination of text, audio, still images, animation, video, and interactivity content forms.Digital image and video 数字图像与视频2024/7/254信息隐藏技术_第二章_多媒体与密码学技术基础由物理世界到数字世界的过程图像等的表示、采集、存储与传输CCD2024/7/255信息隐藏技术_第二章_多媒体与密码学技术基础彩色空间彩色空间 所谓彩色空间，即彩色的表示模型。在数字图像中每个像素的颜色可以用8位、9位、16位、24位或32位表示。RGB 彩色空间与YUV彩色空间（YCbCr）HSI彩色空间 H，色调；S，饱和度；I，光强度。YIQ彩色空间 Y，亮度；I、Q，色度。2024/7/256信息隐藏技术_第二章_多媒体与密码学技术基础采样4:4:4 YCbCr 4:2:2 YCbCr 2024/7/257信息隐藏技术_第二章_多媒体与密码学技术基础采样4:1:1 YCbCr 4:2:0 YCbCr 2024/7/258信息隐藏技术_第二章_多媒体与密码学技术基础Digital imageAn image or picture is an artifact, usually two-dimensional, that has a similar appearance to some subjectusually a physical object or a person.A digital image is a representation of a two-dimensional image using ones and zeros (binary). Depending on whether or not the image resolution is fixed, it may be of vector or raster type. Without qualifications, the term digital image usually refers to raster images.2024/7/259信息隐藏技术_第二章_多媒体与密码学技术基础BMP位图位图（又称光栅图）是使用像素阵列来表示的图像，每个像素的色彩信息由RGB组合或者灰度值表示。根据颜色信息所需的数据位分为1、4、8、16、24及32位等，位数越高颜色越丰富，相应的数据量越大。其中使用1位表示一个像素颜色的位图因为一个数据位只能表示两种颜色，所以又称为二值位图。通常使用24位RGB组合数据位表示的的位图称为真彩色位图。imread, imwrite JPG, TIFF, GIF, BMP, PNG, HDF, PCX, 2024/7/2510信息隐藏技术_第二章_多媒体与密码学技术基础BITMAPtypedef struct tagBITMAP LONG bmType; LONG bmWidth; LONG bmHeight; LONG bmWidthBytes; WORD bmPlanes; WORD bmBitsPixel; LPVOID bmBits; BITMAP, *PBITMAP; LoadImage(AfxGetInstanceHandle(), logo.bmp, IMAGE_BITMAP, 0, 0, LR_LOADFROMFILE)CBitmap2024/7/2511信息隐藏技术_第二章_多媒体与密码学技术基础常用的测试图像Lena (Miss November 1972s centerfold)2024/7/2512信息隐藏技术_第二章_多媒体与密码学技术基础History of Lena imageFirst Lady of Internet May 19972024/7/2513信息隐藏技术_第二章_多媒体与密码学技术基础Lena戴维C蒙森（David C.Munson）,IEEE图像处理汇刊（IEEE Transactions on Image Processing）的主编, 在1996年1月引用了两个原因来说明莱娜图在科研领域流行的原因：1.该图适度的混合了细节、平滑区域、阴影和纹理，从而能很好的测试各种图像处理算法。2.Lena是个美女，对于图象处理界的研究者（大部分都是男性）来说，美女图可以有效的吸引他们来做研究。2024/7/2514信息隐藏技术_第二章_多媒体与密码学技术基础常用的测试图像Baboon Barbara2024/7/2515信息隐藏技术_第二章_多媒体与密码学技术基础常用的测试图像2024/7/2516信息隐藏技术_第二章_多媒体与密码学技术基础Digital videoVideo is the technology of electronically capturing, recording, processing, storing, transmitting, and reconstructing a sequence of still images representing scenes in motion.Digital video is a type of video recording system that works by using a digital rather than an analog video signal.fps: 25302024/7/2517信息隐藏技术_第二章_多媒体与密码学技术基础YUV原始视频文件YUV文件格式 Y: widthxheight; UV: (width/2)x(height/2). CIF: 352x288 QCIF: 176x144 SIF: 352x2402024/7/2518信息隐藏技术_第二章_多媒体与密码学技术基础常用的测试视频序列Vectra Akiyo2024/7/2519信息隐藏技术_第二章_多媒体与密码学技术基础常用的测试视频序列Vectra Akiyo Foreman Miss_Am Carphone Grandma Salesman Claire Trevor Suzie2024/7/2520信息隐藏技术_第二章_多媒体与密码学技术基础YUVPlayer播放器YUVPlayer2024/7/2521信息隐藏技术_第二章_多媒体与密码学技术基础YUV原始视频数据的读取function y, u, v = getyuvdata(fparams, , frameno)width = fparams(1); height = fparams(2);y = zeros(width, height); u = zeros(width/2, height/2);v = zeros(width/2, height/2);fid = fopen(, r);seeks = width*height*3*(frameno-1)/2;fseek(fid, seeks, -1);for i=1:height y(:, i) = fread(fid, width, char);endseeks = width*height*3*(frameno-1)/2+width*height;fseek(fid, seeks, -1);for i=1:height/2 u(:, i) = fread(fid, width/2, char);endseeks = width*height*3*(frameno-1)/2+width*height+width*height/4;fseek(fid, seeks, -1);for i=1:height/2 v(:, i) = fread(fid, width/2, char);end fclose(fid);2024/7/2522信息隐藏技术_第二章_多媒体与密码学技术基础YUV原始视频数据的写入function saveyuvdata(fparams, , frameno, y, u, v)width = fparams(1); height = fparams(2);fid = fopen(, a);seeks = width*height*3*(frameno-1)/2;fseek(fid, seeks, -1);for i=1:height count = fwrite(fid, y(:, i), char);endseeks = width*height*3*(frameno-1)/2+width*height;fseek(fid, seeks, -1);for i=1:height/2 count = fwrite(fid, u(:, i), char);endseeks = width*height*3*(frameno-1)/2+width*height+width*height/4;fseek(fid, seeks, -1);for i=1:height/2 count = fwrite(fid, v(:, i), char);endfclose(fid);2024/7/2523信息隐藏技术_第二章_多媒体与密码学技术基础第二章主要内容多媒体基本概念多媒体压缩原理多媒体主要标准介绍有关的密码学知识介绍2024/7/2524信息隐藏技术_第二章_多媒体与密码学技术基础为什么要压缩数据量庞大 image:1千万像素，每个像素3字节，30M； video: PAL，720x576x25x1.5=14.8M； 2hours，104G。存储空间有限 300500G。传输带宽有限 社区宽带12M。2024/7/2525信息隐藏技术_第二章_多媒体与密码学技术基础压缩的基本思想去相关/去冗余 空间冗余，时间冗余，结构冗余，知识冗余。人类感知特性 感知冗余，例如视觉冗余，人类视觉系统对于图像的任何变化，并不是都能感知的。2024/7/2526信息隐藏技术_第二章_多媒体与密码学技术基础人眼的视觉特性视觉阈值 视觉阈值是指干扰或失真刚好可以被察觉的门限值，低于它就察觉不出来，高于它才看得出来，这是一个统计值。亮度辨别阈值 当景物的亮度在背景亮度基础上增加很少时，人眼是辨别不出的，只有当亮度增加到某一数值时，人眼才能感觉其亮度有变化。人眼刚刚能察觉的亮度变化值称为亮度辨别阈值。2024/7/2527信息隐藏技术_第二章_多媒体与密码学技术基础人眼的视觉特性空间分辨力 空间分辨力是指对一幅图像相邻像素的灰度和细节的分辨力，视觉对于不同图像内容的分辨力不同。掩盖效应 指人眼对图像中量化误差的敏感程度，与图像信号变化的剧烈程度有关。2024/7/2528信息隐藏技术_第二章_多媒体与密码学技术基础压缩编码算法类型无损（可逆、无失真）编码 Huffman编码，算术编码，行程长度编码等。有损（不可逆、有失真）编码 预测编码，变换编码，运动估计与补偿编码等。2024/7/2529信息隐藏技术_第二章_多媒体与密码学技术基础预测编码DPCM基本原理 以图像为例，DPCM的基本原理是基于相邻像素之间所具有的较强的相关性，每个像素可以通过以前已知的几个像素来作预测。2024/7/2530信息隐藏技术_第二章_多媒体与密码学技术基础预测编码DPCM原理框图量化器输入编码器解码器预测器信道预测器发送端接收端输出2024/7/2531信息隐藏技术_第二章_多媒体与密码学技术基础变换编码信源序列协方差矩阵Karhunen-Loeve变换（最佳变换）DCT变换（准最佳变换）2024/7/2532信息隐藏技术_第二章_多媒体与密码学技术基础二维DCT变换88的FDCT88的IDCT2024/7/2533信息隐藏技术_第二章_多媒体与密码学技术基础DCT变换压缩实验88分块，DCT2，把高频部分置零48101213142024/7/2534信息隐藏技术_第二章_多媒体与密码学技术基础DCT变换压缩效果481012132024/7/2535信息隐藏技术_第二章_多媒体与密码学技术基础DCT变换压缩效果142024/7/2536信息隐藏技术_第二章_多媒体与密码学技术基础DCT变换压缩效果481012132024/7/2537信息隐藏技术_第二章_多媒体与密码学技术基础DCT变换压缩效果142024/7/2538信息隐藏技术_第二章_多媒体与密码学技术基础帧间预测编码XZYAvailable fromlater frame (Z)Available fromearlier frame (X)2024/7/2539信息隐藏技术_第二章_多媒体与密码学技术基础评价指标压缩比 Compression ratio保真度 Fidelity PSNR(Peak Signal-to-Noise Ratio)计算复杂度 Computation complexity2024/7/2540信息隐藏技术_第二章_多媒体与密码学技术基础第二章主要内容多媒体基本概念多媒体压缩原理多媒体主要标准介绍有关的密码学知识介绍2024/7/2541信息隐藏技术_第二章_多媒体与密码学技术基础Multimedia standards静态图像压缩编码的国际标准 JPEG/2000 Joint Photographic Expert Group动态图像压缩编码的国际标准 MPEG-1/2/4/7/21 Moving Picture Expert Group可视电话/电视会议的国际标准 H.26X ITU-T 国际电信联盟远程通信标准化组2024/7/2542信息隐藏技术_第二章_多媒体与密码学技术基础JPEGJoint Photographic Experts Group(联合图像专家小组)(1986), JPEG(1992), ISO(1994)。Lossy Compression有损压缩标准。JPEG本身只描述如何将一个影像转换为字节的数据串流（streaming），但并没有说明这些字节如何在任何特定的储存媒体上被封存起来。目前使用最广泛的图像压缩标准。2024/7/2543信息隐藏技术_第二章_多媒体与密码学技术基础JPEG编码的总体框架总体框架2024/7/2544信息隐藏技术_第二章_多媒体与密码学技术基础JPEG的编码环节Color space transformation 色彩空间转换 RGB2YUVDownsampling 缩减采样 4:4:4 - 4:2:2 / 4:2:0Block slpitting 分块 882024/7/2545信息隐藏技术_第二章_多媒体与密码学技术基础JPEGDiscrete cosine transform 离散余弦变换 DCT2Quantization 量化 量化表 Entropy coding 熵编码 zigzag, run-length encoding (RLE), then using Huffman coding.2024/7/2546信息隐藏技术_第二章_多媒体与密码学技术基础量化例子2024/7/2547信息隐藏技术_第二章_多媒体与密码学技术基础与其它图像格式比较JPEG不适合于线条绘图（drawing）和其他文字或图示（iconic）的图形；PNG和GIF格式通常是用来针对这种目的之图形。GIF每一像素只有8位，并不很适合于用在彩色照片。PNG可以被用来无失真地储存照片，但是档案太大让它不适合在网页上放照片。2024/7/2548信息隐藏技术_第二章_多媒体与密码学技术基础JPEG2000JPEG的升级版，压缩率比高约30左右。基于小波变换的图像压缩标准。不会产生原先的基于离散余弦变换的JPEG标准产生的块状模糊瑕疵。同时支持有损数据压缩和无损数据压缩。支持更加复杂的渐进式显示和下载。向下兼容。2024/7/2549信息隐藏技术_第二章_多媒体与密码学技术基础Video coding standards2024/7/2550信息隐藏技术_第二章_多媒体与密码学技术基础Performance2024/7/2551信息隐藏技术_第二章_多媒体与密码学技术基础MPEG-1MPEG-1是MPEG组织制定的第一个视频和音频有损压缩标准。视频压缩算法于1990年定义完成。1992年底，MPEG-1正式被批准成为国际标准。MPEG-1是为CD光盘介质定制的视频和音频压缩格式，采用了块方式的运动补偿、离散余弦变换（DCT）、量化等技术。MPEG-1被VCD采用作为核心技术。MPEG-1音频分三层，其中第三层协议被称为MPEG-1 Layer 3，简称MP3，目前已经成为广泛流传的音频压缩技术。 2024/7/2552信息隐藏技术_第二章_多媒体与密码学技术基础MPEG-1 Hierarchy The six layers of MPEG video bit streamSequence Layer: video clip, complete program item.Group of Pictures Layer(GOP): include three different coding ways.Frame LayerSlice Layer: in case the data is lost or corrupted.Macroblock Layer: 1616 luminance block.Block Layer(DCT unit)2024/7/2553信息隐藏技术_第二章_多媒体与密码学技术基础MPEG-1特点随机访问灵活的帧率 可变的图像尺寸 定义了I-帧、P-帧和B-帧 运动补偿可跨越多个帧 半像素精度的运动向量 量化矩阵 具有GOP结构和Slice结构 2024/7/2554信息隐藏技术_第二章_多媒体与密码学技术基础MPEG-1的系列第一第一个集成的视频/音频标准 : ISO/IEC 11172-1 (Systems), -2 (Video), -3 (Audio)第一个与视频格式无关的编码标准 (NTSC/PAL/SECAM)第一个由几乎所有相关视/音频企业联合制定的标准2024/7/2555信息隐藏技术_第二章_多媒体与密码学技术基础视频混合编码框图2024/7/2556信息隐藏技术_第二章_多媒体与密码学技术基础GOP结构2024/7/2557信息隐藏技术_第二章_多媒体与密码学技术基础MPEG-2MPEG-2标准(ISO/IEC13818)。1994年发布。通常用来为广播信号提供视频和音频编码，包括卫星电视、有线电视等。经少量修改后，成为DVD产品的核心技术。适用于1.5Mbps60Mbps甚至更高速率的编码范围，典型传输速率为10Mbps。与MPEG-1兼容。2024/7/2558信息隐藏技术_第二章_多媒体与密码学技术基础MPEG-4MPEG-4 标准(ISO/IEC l4496) . “Coding of audio-visual objects” 1999年5月形成国际标准(版本1), 2001-2002形成版本2，是一种基于对象的视(音)频编码标准,目标是支持各种多媒体应用(主要侧重于对多媒体信息内容的访问)主要目标 Compression and manipulation of audio and visual objects, the web page paradigm applied to audio and video.2024/7/2559信息隐藏技术_第二章_多媒体与密码学技术基础Video coding standards2024/7/2560信息隐藏技术_第二章_多媒体与密码学技术基础H.264H.264/AVC的目标是希望新的编解码器能够在比相对以前的视频标准（比如MPEG-2或者H.263）低很多的码率情况下（比如说，一半或者更少）提供很好的视频质量。另一个目标是可适应性，使该编解码器能够在一个很广的范围内使用（比如说，即包含高码率也包含低码率，以及不同的视频分辨率），并且能在各种网络和系统上（比如组播、DVD存储、RTP/IP包网络、ITU-T多媒体电话系统）工作。2024/7/2561信息隐藏技术_第二章_多媒体与密码学技术基础H.264的新特性多参考帧的运动补偿，最多32个参考帧。变块尺寸运动补偿。可使用最大16x16至最小4x4的块来进行运动估计与运动补偿，能够对图像序列中的运动区域进行更精确的分割。为了减少锯齿(Aliasing)并得到更锐化的图像，采用六抽头的滤波器来产生二分之一像素的亮度份量预测值。 1/4像素精度的运动补偿能够提供更高精度的运动块预测，由于色度通常是亮度抽样的1/2（4:2:0），这时运动补偿的精度就达到了1/8像素精度。 加权的运动预测，在运动补偿时可以使用增加权重和偏移的办法。它能在一些特殊的场合，如淡入、淡出、淡出而后淡入等情况提供相当大的编码增益。使用了一个环内的除块效应滤波器，能够减轻普遍存在于其他基于离散余弦变换(DCT)的视频编解码器的块效应。2024/7/2562信息隐藏技术_第二章_多媒体与密码学技术基础Performance2024/7/2563信息隐藏技术_第二章_多媒体与密码学技术基础MPEG-7MPEG-7标准(ISO/IEC l5938). 1) 并非压缩标准； 2) 建筑在其他的标准之上的，例如，PCM, MPEG-1, MPEG-2和MPEG-4等； 3) 2001年9月形成。它是“多媒体内容描述接口” (Multimedia Content Description Interface)的标准, 该标准将确定各种类型的多媒体信息的标准描述方法, 可应用于数字图书馆、各种多媒体目录服务、广播媒体的选择，以及多媒体编辑等领域。2024/7/2564信息隐藏技术_第二章_多媒体与密码学技术基础MPEG-7通过MPEG-7格式定义的信息，使用者可以有效率地搜寻、过滤和定义想要的影音资料。目前MPEG-7标准中定义了五种内容的信息，分别是：1. Creation & production：影音资料制作的基本信息。例如电影片名、导演等。2. Media：定义资料储存的方式。例如是否经过压缩、编码方式、储存媒介等。3. Usage：定义资料使用的方式。例如版权所有人、播放时间等。4. Structural aspects：对影片中出现的特殊物品，或是音乐中某一片段，以及颜色、旋律等的描述。5. Conceptual aspects 7：定义资料中各种控件的链接或交互。2024/7/2565信息隐藏技术_第二章_多媒体与密码学技术基础MPEG-4演示2024/7/2566信息隐藏技术_第二章_多媒体与密码学技术基础第二章主要内容多媒体基本概念多媒体压缩原理多媒体主要标准介绍有关的密码学知识介绍2024/7/2567信息隐藏技术_第二章_多媒体与密码学技术基础有关的基本概念明文 Plaintext 明文意味着信息能够为发送方、接收方以及任何接触过该信息的其他人所理解。密文 Cipher text 使用适当方法对明文进行编译所形成的信息称为密文。加密与解密算法Encrypt/Decrypt Algorithm对称加密与非对称加密2024/7/2568信息隐藏技术_第二章_多媒体与密码学技术基础数据加密标准DESDES是美国IBM公司W. Tuchman和C. Meyer于1972年发明的, 1976年被美国联邦政府的联邦信息处理标准(FIPS)所选中, 随后既在国际上广泛流传开来。DES现在已经不视为一种安全的加密算法，因为它使用的56位秘钥过短，以现代计算能力，24小时内即可能被破解。该标准已经被高级加密标准（AES）所取代。2024/7/2569信息隐藏技术_第二章_多媒体与密码学技术基础高级加密标准AES又称Rijndael加密法，是比利时密码学家Joan Daemen和Vincent Rijmen所设计，结合两位作者的名字，以Rijndael之命名之。美国联邦政府经过五年的甄选，最后采用Rijndael加密算法作为高级加密标准AES，用来替代原来的DES。AES的区块长度固定为128 位，密钥长度则可以是128，192或256位。2024/7/2570信息隐藏技术_第二章_多媒体与密码学技术基础RSA加密算法RSA公钥算法是由Rivest,Shamir和Adleman在1978年提出来的。参见Communitions of the ACM. Vol.21.No.2. Feb. 1978, PP.120-126。该算法的数学基础是初等数论中的Euler（欧拉)定理，并建立在大整数因子的困难性之上。2024/7/2571信息隐藏技术_第二章_多媒体与密码学技术基础RSA加密算法加密与解密由不同的密钥完成 加密： 解密：知道加密算法，从加密密钥得到解密密钥在计算上是不可行的两个密钥中任何一个都可以作为加密而另一个用作解密（不是必须的）2024/7/2572信息隐藏技术_第二章_多媒体与密码学技术基础散列算法Hash杂凑算法（Hashing algorithm）。由杂凑函数生成数据的摘要。具有单向性/不可逆性。常用来识别档案与资料是否有被窜改，以保证档案与资料确实是由原创者所提供。杂凑算法也常被用来加密存在数据库中的密码。 MD5/SHA-0/SHA-1/SHA-256。可用于脆弱水印，Visual hash。2024/7/2573信息隐藏技术_第二章_多媒体与密码学技术基础视频置乱加密演示2024/7/2574信息隐藏技术_第二章_多媒体与密码学技术基础