多媒体基础知识,本章目标,多媒体和多媒体技术 多媒体网络 音频基础 视频基础 流媒体技术基础 RTP协议概述 对RTP协议进行封装,多媒体,“多”是指多种媒体体现、多种感官作用、多种设备、多学科交汇和多领域应用 “媒”是指它可作为人与客观事物的中介； “体”是指其能够综合、集成一体化,多媒体技术,多媒体技术是指把文字、音频、视频、图 形、图像和动画等多媒体信息通过计算机 进行数字化采集、获取、压缩/解压缩、 编辑和存储等加工处理，再以单独或合成 形式表现出来的一体话技术,多媒体技术特性,集成性采用了数字信号，可以综合处理文字、声音、图形、动画、图像和视频等多种信息。 交互性可以方便地实现人机交互 智能性提供了易于操作、十分友好的界面，使其更直观、更方便、更亲切和更人性化 易扩展性可方便地与各种外部设备挂接，实现数据交换、监视控制等多种功能。,多媒体网络,把多媒体的概念与网络相结合 在网络上展示多媒体，这是未来网络发展的趋势 由多媒体终端、多媒体接入网络、多媒体传输骨干网络以及能够满足多媒体网络化应用的网络软件等部分组成,多媒体网络特性,业务等级保证，多媒体网络应能根据不同的业务提供不同的质量等级 高带宽，也就是网络的宽带化 可靠性保证。 实时性，这是多媒体通信网与传统数据网的本质区别,主流音频编码（21）,PCM编码：PCM脉冲编码调制是Pulse Code Modulation的缩写。PCM编码最大的优点就是音质好，最大的缺点就是体积大 WAV:是由微软开发的音频文件格式。WAV符合RIFF规范， MP3编码：作为目前最为普及的音频压缩格式是MPEG Audio Layer-3的简称，是MPEG1的衍生编码方案 OGG编码 MPC编码,主流音频编码（22）,MP3 PRO编码： 是一种基于MP3编码技术的改良方案 WMA：是Windows Media Audio编码后的文件格式 RA：就是RealAudio格式，大部分音乐网站的在线试听都是采用了RealAudio格式 APE:是Monkeys Audio提供的一种无损压缩格式,视频基础,在Internet上传输视频有许多困难，其根本 的原因在于Internet的无连接每包转发机制 主要为突发性的数据传输设计，不适用于 对连续媒体流的传输,视频传输编/解码标准,国际电联的H.261和H.263标准 M-JPEG MPEG系列标准,国际电联的H.261和H.263标准,H.261 :此算法为了优化带宽占用量，引进了在图像质量与运动幅度之间的平衡折中机制，也就是说，剧烈运动的图像比相对静止的图像质量要差 H.263：是国际电联ITU-T的一个标准草案，是为低码流通信而设计的,M-JPEG,M-JPEG即运动静止图像（或逐侦）压缩技术，广泛应用于非线性编辑领域，可精确到侦编辑和多层图像处理。 M-JPEG的压缩和解压缩是对称的，可由相同的硬件和软件实现 M-JPEG只对侦内的空间冗余进行压缩，不对侦间的时间冗余进行压缩，故压缩效率不高,MPEG系列标准（21）,MPEG是活动图像专家组的缩写，MPEG组织目前已经提出MPEG-1、MPEG-2、MPEG-4、MPEG-7和MPEG-21标准 MPEG-1标准：于1993年8月公布，用于传输1.5Mbit/s数据传输率的运动图像及其伴音。该标准包括5部分：第1部分说明了如何根据第二部分（视频）以及第三部分（音频）的规定，对音频和视频进行符合编码；第4部分说明了检验解码器或编码器的输出比特流符合前3部分规定的过程；第5部分是一个用完整的C语言实现的编码和解码器 MPEG-2标准：于1994年推出MPEG-2压缩标准，以实现视/音频服务与应用互操作的可能性。,MPEG系列标准（22）,MPEG-4标准：于1999年2月正式公布了MPEG-4标准第1版本。同年年底MPEG-4第2版也确定，且于2000年年初正式成为国际标准 MPEG-7标准：被称为“多媒体内容描述接口”，为各类多媒体信息提供一种标准化的描述。,流媒体概述（21）,流媒体技术是一种新兴的网络传输技术，它能实现在互联网上实时顺序地传输和播放视/音频等多媒体内容。 流媒体技术包括流媒体数据采集、视/音频编解码、存储、传输和播放等领域,流媒体概述（22）,广义上的流是使音频和视频形成稳定和连续的传输流和回放流的一系列技术、协议和方法的总称，习惯上称为流媒体系统 狭义上的流是相对于传统的下载回放方式而言的一种媒体格式，它能从Internet上获取音频和视频等连续的多媒体流,流媒体技术,缓存技术： 可以使用缓存系统来弥补延迟和抖动的影响，并保证数据包的顺序正确，从而使媒体数据能连续输出，而不会出现因为网络暂时拥塞使播放出现停顿的现象,流媒体传输流程,web浏览器与web服务器之间使用HTTP/TCP交换控制信息，以便把需要传输的实时数据从原始信息中检索出来 用HTTP从Web服务器检索相关数据，播放器进行初始化 从web服务器检索出来的相关服务器的地址定位A/V服务器 A/V播放器与A/V服务器之间交换A/V传输所需要的实时控制协议 一旦A/V数据抵达客户端，A/V播放器就可以播放了,流媒体传输协议,实时传输协议RTP和TRCP：RTP是用于Internet/Intranet针对多媒体数据流的一种传输协议。RTP被定义为在一对一或一对多传输的情况下工作，其目的是提供时间信息和实现流同步。RTP通常使用UDP来传送数据，但RTP也可以在TCP或ATM等其他协议上工作,实时流协议RTSP,实时流协议RTSP是由RealNetWorks和Netscape共同提出的，该协议定义了一对多应用程序如何有效地通过IP网络传送多媒体数据。 RTSP在体系结构上位于RTP和RTCP之上，它使用TCP或RTP完成数据传输,资源预定协议RSVP,由于音频和视频数据流比传统数据对网络的延时更敏感，要在网络中传输高质量的音频、视频信息，除带宽要求之外，还需要其他更多的条件。,流媒体发展现状,Internet/Intranet 上使用较多的流媒体技术 主要有RealNetworks公司的Real System, Microsoft公司的Windows Media Technology 和Apple公司的QuickTime,它们是流媒体传 输系统的主流技术,音频编解码类型,G7231编解码 G729编解码,G7231编码用法,编码初始化 Init_Coder() 编码函数 Coder(short*, char *),G7231解码用法,解码初始化 Init_Decod() 解码函数 Decod(short*, char *, short),G729编码,G729编码初始化 va_g729a_init_encoder(); G729编码 va_g729a_encoder(short *,(unsigned char*),G729解码,解码初始化 va_g729a_init_decoder() 解码函数 va_g729a_decoder(unsigned char *, short *, int),RTP协议,RTP是一种提供端对端传输服务的实时传输协议，用来支持在单目标广播和多目标广播网络服务中传输实时数据,RTP是传输层上的协议,RTP可以看成是传输层的子层。由多媒体应用程序生成的声音和电视数据块被封装在RTP信息包中，每个RTP信息包被封装在UDP消息段中，然后再封装在IP数据包中,RTP和UDP之间的接口,从应用开发人员的角度来看，可把RTP执行程序看成是应用程序的一部分，因为开发人员必需把RTP集成到应用程序中。 在发送端，开发人员必需把执行RTP协议的程序写入到创建RTP信息包的应用程序中，然后应用程序把RTP信息包发送到UDP的套接接口,RTP头,RTP头域（21）,RTP头域（22）,1、有时候读书是一种巧妙地避开思考的方法。20.9.2920.9.29Tuesday, September 29, 2020 2、阅读一切好书如同和过去最杰出的人谈话。17:00:4617:00:4617:009/29/2020 5:00:46 PM 3、越是没有本领的就越加自命不凡。20.9.2917:00:4617:00Sep-2029-Sep-20 4、越是无能的人，越喜欢挑剔别人的错儿。17:00:4617:00:4617:00Tuesday, September 29, 2020 5、知人者智，自知者明。胜人者有力，自胜者强。20.9.2920.9.2917:00:4617:00:46September 29, 2020 6、意志坚强的人能把世界放在手中像泥块一样任意揉捏。2020年9月29日星期二下午5时0分46秒17:00:4620.9.29 7、最具挑战性的挑战莫过于提升自我。2020年9月下午5时0分20.9.2917:00September 29, 2020 8、业余生活要有意义，不要越轨。2020年9月29日星期二5时0分46秒17:00:4629 September 2020 9、一个人即使已登上顶峰，也仍要自强不息。下午5时0分46秒下午5时0分17:00:4620.9.29 10、你要做多大的事情，就该承受多大的压力。9/29/2020 5:00:46 PM17:00:462020/9/29 11、自己要先看得起自己，别人才会看得起你。9/29/2020 5:00 PM9/29/2020 5:00 PM20.9.2920.9.29 12、这一秒不放弃，下一秒就会有希望。29-Sep-2029 September 202020.9.29 13、无论才能知识多么卓著，如果缺乏热情，则无异纸上画饼充饥，无补于事。Tuesday, September 29, 202029-Sep-2020.9.29 14、我只是自己不放过自己而已，现在我不会再逼自己眷恋了。20.9.2917:00:4629 September 202017:00,谢谢大家,