基于云架构的深圳广电融合媒体数据中心设计0 引言融合新闻中心项目是深广电集团由传统媒体向融合媒体转型的标志项目，调研、论证、建设长达6年，涉及机制、流程、技术等多方面创新和变革，第一期工程于2015年5月正式投入使用。项目总投资近1.8亿，其中工艺系统设备投资预算1.1亿，建筑总面积为4300平米。为了实现全媒体业务流程变革和技术支撑升级的项目目标，深圳广电和成都索贝公司、华为公司联合研发并实施基于云架构、全IP化的融合媒体数据中心。1 融合媒体数据中心需求分析进入21世纪，传统媒体的舆论引导能力面临挑战，互联网已经成为舆论斗争的主战场，直接关系我国意识形态安全和政权安全；另一方面，传统媒体的盈利模式面临挑战，全球范围内电视广告收入增幅几乎零增长，广告平均价格下降。这些媒体发展主要矛盾的变化，要求生产网建设从“网络化、文件化、高清化”改造转向“用户导向，服务导向”的流程改造和模式创新。因此，融合媒体数据中心项目不仅要满足节目部门对内容生产资源的需求，而且还要适应加快推动传统媒体和新兴媒体融合发展的趋势。1.1全媒体云计算与全IP化上世纪九十年代以来，深圳广电集团（含原深圳电视台）电视内容生产平台依次经历了编辑工具的数字化、生产系统的网络化、内容生产平台的云化三个阶段，IP化则贯穿其中。总体而言，编辑工具数字化提高了节目制作水平和效率，提升节目生产过程的管控能力；后来生产系统网络化逐步消除业务孤岛，节目制播的运作效率和资源共享的能力进一步提升；近年来，为了应对新媒体的竞争以及自身融合发展的需要，深圳广电内容生产平台利用融合新闻中心项目建设的契机开始进入全IP和云计算时代。1、电视生产业务系统全流程IP化探索在传统媒体与新媒体融合的过程中，内容生产平台整体架构向全IP融合架构演进成为业界一致的认识，这一演进过程可以称之为内容生产网络的全IP化。IP是英文Internet Protocol的缩写，意思是“网络之间互连的协议”，生产系统全流程IP化实际上是采、编、播、存各个节点采用IP协议实现互联互通，并在线路传输、实现协调控制、完善网络应用等三个层面完成IP化改造。在全媒体时代，传播的内容和服务种类越来越多，普遍基于IP技术。为了降低管理成本和提升用户体验，内容生产制播体系还需要“更加彻底的IP化”。因此，IP化后的全媒体融合网络包含IP化与网络融合两个平行的方向，需要业务运营结合起来统一考虑。2005年元旦，深圳广电上线全台网，为进一步提高生产效率和降低成本，开始逐步对内容生产体系全业务流程进行IP化改造。深圳广电全台网的全IP化改造主要包括信号和信令的IP化、业务流程的文件化、生产管理的信息化等三方面。2、内容生产制作平台的私有云实践云计算就是通过互联网提供各种计算服务和存储服务，包括基础设施即服务（IaaS）、平台即服务(PaaS)和软件即服务(SaaA)等服务模式。云计算的部署模式包括私有云、社区云、公有云、混合云。文献1提出多媒体云和云多媒体来研究多媒体云计算。媒体云主要研究如何使云为多媒体应用和服务提供QoS支持。云媒体则重点研究多媒体怎样在云中执行内容存储、处理、适配、渲染等任务，以最好地利用云计算资源，进而为多媒体服务提供高QoE服务。在云中进行多媒体信息处理带来了巨大的挑战，包括多媒体和服务异构性、QoS异构性、网络异构性、设备异构性。云计算技术的大规模应用将给媒体内容生产带来巨大的变革，这不仅有助于工作效率、降低运营成本，还可以促进内容资源整合、发展创新业务，为内容生产提供良好的技术基础。从中国国际广播电台、央视新址、北京电视台、凤凰卫视在广电云平台的实践来看，云计算技术在广电应用中的优势主要体现在有效降低用户的使用终端成本2、优化技术调配运维和促进业务运营3、实现业务敏捷，实现“全媒体、全时空”高效业务运营4。1.2深广电全台网的发展深圳广电集团全台网经过十年发展，电视内容生产网络的资产规模增长4倍，直播时长增长26倍，为了满足不断发展的内容生产业务的需求，深圳广电不断优化和改造全台网。1、2004年，深圳广电率先于全国建成全台网络化制作播出系统,实现采、编、播文件化交互和网络化传输播出。但由于全台网原有设计和当时技术限制，系统之间普遍通过单点连接，媒体资源共享性较差;中央节点负担重，形成“瓶颈”，一旦发生故障，则全网共享将受到影响。2、2010年开始，深圳广电基于双总线架构的主干平台项目投入使用，初步建立以主干为总线，其他系统向主干注册服务的模式；应用层面通过统一检索平台实现元数据检索和调用。这些项目建设初步实现高标清素材级（文稿、串联单、成品和素材）互相调用，实现了异地异构系统间的协同工作，构建集团内部接口服务的标准化；同时面临新的问题：松散耦合的系统中各个系统都是服务提供者，被动的被外界调用；除媒资、播出和收录向外提供较多服务之外，其他系统间缺乏统一的业务流程驱动，导致业务量极少，特别是网台互动实际应用不多。3、随着业务压力的日益增大，设备使用年限的逐年增加，故障发生频率越来越高，截止2011年前四个月时间内，设备故障率已经达到2010年全年故障数量的77%多，其中故障主要集中在存储故障、关键服务器故障、单点故障等方面。回顾十年来深圳广电内容生产网的发展，主要面临三方面的挑战，一是，生产系统“烟囱式”发展，资源无法有效利用；系统安全防护需要进一步加强；面对不断增加的业务需求，头痛医头脚痛医脚；二是，新媒体的迅猛发展，网台互动依然是“两张皮”。三是，如何做好标清资产的再利用：在深广电高清化过程中，原有5个标清制播网络的价值数千万的标清设备、系统（授权）再利用问题。1.3深广电融合媒体数据中心需求分析经过不断的调查与研究，深圳广电希望通过业务流程变革和技术支撑升级来应对上述挑战。一方面，通过优化现有流程，改善资源共享的效率和安全性，完善新闻流程的一体化设计；应对未来全媒体环境下的业务生产，重构传统媒体与新兴媒体融合的生产流程；另一方面，面对不断扩张的业务需求，建立更具弹性，横向扩展性更强的IP化、分布式基础架构；面对内部业务生产建立媒体私有云，针对全媒体的生产环境结合公有云服务，建立“混合云”。2013年，融合新闻中心开始建设。系统包含5个生产业务系统、 2个生产辅助系统、系统平台包含160多个子功能模块，支持电视、微博、微信、App共平台新闻生产与发布。项目全面采用全IP化，私有云技术。包括采用IP分布式存储，实现90%后台计算资源的虚拟化，使用桌面虚拟化、流媒体实现视频简编业务。深圳广电积极响应中央关于加快推动传统媒体和新兴媒体融合发展的一系列要求和指导意见，利用大数据和云计算技术推进新闻生产的融合发展。在建设全媒体融合新闻中心过程中，积极探索和实践云计算技术在融合新闻生产平台中的应用。其中，融合新闻中心媒体数据中心在IAAS层、终端层，混合云等方面进行了云计算的探索。2 深圳广电融合媒体数据中心设计从2013年开始，深圳广电、系统集成厂商、硬件厂商建立联合实验室，通过9个多月的测试和完善，基本确认现有技术设备和系统将可以支持融合媒体数据中心的内容资源全IP化、业务能力平台化、生产系统云化等三个设计目标。联合实验室主要测试项目包括服务器虚拟化、分布式存储两大类16项：业务项测试需求服务器虚拟化需求合成渲染 通过服务器虚拟化+GPU直通替换现有物理服务器低码流编辑（需要GPU处理）通过服务器+GPU虚拟化替换现有编辑工作站低码流编辑（不需要GPU处理）通过桌面云方式替换现有编辑工作站转码迁移通过服务器虚拟化替换现有物理服务器WEB应用通过服务器虚拟化替换现有物理服务文稿编辑通过服务器虚拟化替换现有物理服务数据库出于对现有技术的考虑，不打算虚拟化安全低码流的工作站需要访问Internet和内网，虚拟化方案需要考虑和解决安全的问题；分布式存储需求带宽 100Gb有效容量1.5PB架构分布式NAS存储，如果产品不能满需求，只能退而求其次，选用SAN+NAS机头的架构虚拟化设计一个大的资源池，实现资源共享，按需分配，平滑扩展安全设计统一存储安全设计，安全交换区存储和核心生产区存储需要进行数据交换，如何解决这个安全问题业务系统支持分布式存储能够支持私有协议（例如索贝的SFS）业务系统支持存储针对Mysql数据库做定制化优化业务系统支持非编软件中的一些操作由存储提供API来简化流程，如非编软件中的截取操作，直接由存储提供截取视频在整个视频文件中的位置参考互联网数据中心（Internet Data Center）平台架构，融合新闻中心项目提出并建设了 “媒体数据中心（Media Data Center，简称MDC）”。融合媒体数据中心（MDC）是融合新闻中心技术平台的一部分，为融合新闻中心新闻运作与指挥平台（NRP）、全媒体汇聚平台、融合生产平台、全媒体发布平台提供媒体处理、业务支撑、公共服务、IT基础架构、传统媒体基础架构等资源，同时接收云管理平台、统一监控中心的管理和监控。2.1 基础设施层设计MDC基础设施层主要包括分布式IP存储设计、虚拟计算资源设计、网络及安全设计三部分，重点实现两个目的：为上层业务系统提供为可靠、安全、高效、可扩展性强的存储资源、计算资源和网络资源；同时要求MDC在不改变系统结构、仅增加硬件资源的前提下可支持接入新的业务，即可扩展到全台网。1、分布式IP存储设计根据业务需求，存储系统需要支持全媒体汇聚、内容交换、融合生产、发布，并支持在线和归档需求。传统广电生产系统的存储采用FC+IP的双网架构，一个很重要的原因是带宽、延迟和抖动等方面的Qos（服务水平保障）要求1。本项目设计之初，就希望能实现全IP的架构；经过严格测试后厂商提供的分布式IP集群存储可以满足业务要求。因此，系统整体存储架构采用在线和归档一体化设计，通过分级存储方式实现对媒体文件以及其它非媒体文件存储业务的管理。同时，存储系统采用了基于IP访问的分布式存储架构设计，存储对外访问提供统一的虚拟资源访问标示符，外部业务不需要关注具体的数据物理地址，各种数据访问业务带宽和容量方面的需求变化，能在系统生命周期各个阶段实现动态扩展和均衡，存储节点可以将重点放在提供读写服务的要求上。为保证业务安全，系统还进一步设计了应急存储。媒体数据中心存储业务类型分为在线存储、归档存储和应急存储三类。逻辑上将在线存储和归档存储融设计为一套存储系统，即在线/归档存储，一共包含22个P节点（Performance node）和7个C节点（Capacity node），统一对外提供服务，存储内部采用存储分层的办法，实现素材在归档存储空间（7个C节点）和在线存储空间（22个P节点）之间的数据迁移。剩余的3个C节点存储单独的组成一套应急存储，用于支撑系统最小规模业务数据量（一期设计支持20个高清站点的在线新闻制作）。在这一方案中，分布式IP集群存储支持扩容至40PB，随着存储节点的增加，容量和带宽都能呈线性增长。在线存储（两个子域）上可以同时损坏的节点数或硬盘数量为4个。归档存储域上可以同时损坏的节点数或硬盘数量为2个。应急存储上可以损坏的节点数为1个，可以同时损坏的硬盘数为2个。当主存储不可用的情况下，切换至3节点的应急存储，保障核心业务不中断。2、计算资源设计根据业务需求，融合新闻中心计算资源需求分类如下表：序号服务器分类应用场景配置说明是否虚拟化1A类服务器数据库、索引类服务器CPU核数：16核是内存：16G2T 硬盘2B类虚拟机视频转码、迁移、技检、流媒体、语音识别类服务器CPU核数：8核是内存：16G100G SAS硬盘3C类虚拟机