计算资源的发展郝卫东资源整合n计算、存储、数据、应用、信息、知识、专家等资源的全面共享，耦合各种资源：n计算资源：计算机、软件n存储资源：存储硬件、存储软件、存储接口n数据资源：数据库(如人类基因库)、资源库（政务信息资源库等）n仪器资源：各种仪器(如射电望远镜、仪表、工业控制器等)n专家资源：人(生物学家、物理学家、数学家、计算机专家)n提供象电力一样方便的“计算力”：计算力公司计算资源n从发展阶段来看,包括n大型机(Mainframe, Super Computer)nC/S计算(PC,服务器)n集群计算nP2P计算n网格计算n云计算大型机n主机/终端计算架构n最早出现的应用架构。典型的主机(Mainframe)如IBM的大型机等，价格昂贵n对主机-终端方式而言，终端是毫无运算能力的输入、输出设备，应用软件运行在主机上。n既然有如此之大的计算需求，那么如何来满足呢？在过去的几十年里，人们的解决方法是，建造越来越大的超级计算机。NEC Earth Simulator5104 processors,40 TFlop/s peak, 10 TB memory. 4 tennis courts, 3 floors 地球模拟器n“地球模拟器”是由日本宇宙开发事业团、日本原子能研究所以及海洋科学技术中心共同开发的矢量型超级计算机。n“地球模拟器”通过在计算机内设置“虚拟地球”，以预测及解析整个地球的大气循环预测、温室化预测、地壳变动、地震发生等大规模计算为目的而开发，其原形是日本NEC公司的矢量型超级计算机“SX-5”。地球模拟器n“地球模拟器”是由640台用来进行演算处理的“计算节点”（机体的长和宽均为1.4米，高为2米）和65台用于连接计算结点的网络设备构成。n每个计算结点上配备有8个最大为8吉 FLOPS（1吉FLOPS1秒钟进行10亿次的浮点运算）的NEC产处理器和16GB的共享内存。n计算结点和网络设备由通信速度为12.3GB/秒的网络连接，使用的电缆总长度达2800公里。整套设备共占用空间达3200平方米。n“地球模拟器”的开发始于1999年。开发费用总计达400亿日元（约合人民币25亿元）。地球模拟器n2002年4月，“地球模拟器”在接受超级计算机的世界标准“Linpack”的基准测试时，运算性能达到了35.61太拉FLOPS（1太拉FLOPS1秒钟进行1万亿次的浮点运算），是当时世界上最高性能的超级计算机。n由于其实际性能达到了此前世界最高性能的美国ASCI White超级计算机的5倍以上，因此美国媒体甚至将其称为“Computenik”（新造词汇，表示美国自1957年前苏联率先发射人造卫星以来受到的又一次重大冲击）Linpack 测试nLINPACK是线性系统软件包(Linear system package) 的缩写。nLinpack是用Fortran语言编写的线性代数软件包，目前Linpack例程常被用来比较不同计算机的性能。ASCI White 8192 processors,12.3 TFlop/s peak, 6 TB memory two hundred cabinets, two basket ball courts ASCI WhitenASCI White在2004年NEC“地球模拟器”系统推出之前一直占据TOP500第一的位置，从2001年到2004年一直是IBM安装的最大的计算机系统 .n命名为“ASCI White”的超级计算机是由512个RS/6000 SMP节点机构成的机群系统， “ASCI White”采用了IBM的AIX操作系统，美国能源部用它来开发模拟核弹头安全性 . 系统时间价格峰值LinpackCPU节点数内存存储网络OSASCI White2001$110M12.3T7.3T 8192512(4U)4T109TSPSAIX曙光4000A2004$10M11T8.06T2560640(2U)5T95TMyrinetLinux曙光4000A在价格、Linpack速度、系统占地、功耗等方面都好于ASCI White，说明曙光4000A达到IBM最大系统的水平。 BlueGene/Ln据Top500.org表示，2005年全球最快的超级计算机是 IBM公司开发的 BlueGene/L，安装在美国加州利弗莫尔的劳伦斯-利弗莫尔国家实验室。该设备能够进行每秒137 TFLops或137万亿次计算 .n中国超级计算机曙光 4000 A被排在第31名,它的最高的标准计算性能为8 TFLops .联想集团开发的DeepComp 6800超级计算机在全球500台最强大超级计算机排行榜上被排在第72名。它的最高的标准计算性能为4 TFLops1.026 petaflop/s(2008)Roadrunner BladeCenter QS22/LS21 Cluster, PowerXCell 8i 3.2 Ghz / Opteron DC 1.8 GHz , Voltaire Infiniband, Linux “曙光5000”高性能计算机是国家863计划支持的研究项目。其浮点运算处理能力可以达到230万亿次（交付用户使用能力200万亿次），Linpack速度预测将达到160万亿次，这个速度将有望让中国高性能计算机再次跻身世界前十(2008)。 “星云”超级计算机nTC3600 “星云”由中国曙光公司生产,被安装在国家超级计算深圳中心,理论峰值接近3000万亿次, Linpack运算能力达到每秒1270万亿次,居2010年6月超级计算机排行榜第二位.n排行第一的是位于美国能源部橡树岭国家实验室的”美洲虎”(Jaguar)超级计算机,理论峰值2300万亿次,实际运算能力达到每秒1760万亿次.中国成功研制千万亿次超级计中国成功研制千万亿次超级计算机算机“天河一号天河一号”2010年11月第一天河一号nTop500在2010年11月公布的榜单介绍,由中国国防科技大学（NUDT，National University of Defense Technology）研制、部署在中国国家超级计算天津中心的“天河一号A”实测运算速度达每秒2570万亿次，获得第一。远高于美国“美洲虎”的每秒1750万亿次。n中国的“星云”（nebulae，Dawning TC3600 Blade System ）超级计算机获得第三。天河一号n天河一号A的成功之处在于其拥有无法比拟的超强带宽的互联网络，一般美国超级计算机所用的Infiniband互联网络单向带宽只有40千兆位/秒，而天河一号A高达80千兆位/秒。n天河一号A有7168个计算结点，每个结点上配备了2个Intel处理器和1个Nvidia公司的GPU（图象处理单元），即中国仍需借用美国的芯片技术天河一号n美国仍是超级计算机的领导者。它不仅在超级计算机系统研发方面做得好，而且在其应用软件方面也好。n相比之下，欧洲在应用软件方面较强，但超级计算系统研发方面较弱。n中国相反，在超级计算系统研发方面强，但目前使用的大多却是国外的应用软件。天河一号n与其它超级计算机操作系统不同的”麒麟”系统,同样是”天河一号”的亮点.在中国超级计算机大多使用外国操作系统的情况下,这套由国防科技大学自主开发的操作系统以高安全性著称.nWindows 操作系统的生态链非常丰富,为它开发软件的人很多.但”麒麟”系统还没有形成生态链,所以使用性就会不足.兼容Linuxn银河麒麟2.0操作系统兼容Linux目标代码，Linux平台上的大型应用如图形环境、Oracle数据库服务等都可以直接运行在麒麟安全操作系统平台上.涉嫌抄袭事件n在2006年4月27日网友Dancefire的一篇技术分析文章中声称，通过对麒麟操作系统2.0版本进行反汇编，麒麟操作系统与美国开放源代码的FreeBSD 操作系统5.3版本相似度在90%以上。n更多的证据指出，麒麟操作系统仅仅是对开源的FreeBSD进行了一定的修改.中标麒麟n2010年12月16日，两大国产操作系统民用的“中标Linux”操作系统和解放军研制的“银河麒麟”操作系统在上海正式宣布合并，双方今后将共同以“中标麒麟”的新品牌统一出现在市场上，并将开发军民两用的操作系统。日本又占第一n2011年6月公布的世界500强计算机中，日本的“京”（K computer）名列榜首，这是自2004年“地球模拟器”争得第一后日本又一次夺得桂冠。n其浮点运算速度达到每秒8200万亿次，是第二名中国“天河一号”的三倍以上。n日本字“京”的意思是万万亿，而每秒1万万亿次的运算速度正是该计算机的追求目标。绿色500强（绿色计算）n2010年11月19日，国际绿色超级计算机500强排名公布（Green500.org）这是根据能效来排列世界最先进的计算机（每瓦特的计算次数）n该排名由美国弗吉尼亚理工大学研究员冯吴春于2007年创建，其目的在于限制“消耗大量电能的超级计算机”的生产。绿色500强（绿色计算）n位居首位的是IBM公司的“蓝色基因”系统，每瓦特可进行16.84亿次每秒浮点运算，比中国的“天河一号”（每瓦特6.3515亿次每秒浮点运算）的效能高出165%。n但蓝色基因系统的性能远远不够强大，其峰值速度在世界超级计算机500强排名第115位。绿色500强（绿色计算）n2011年3月，中科院计算所宣布推出中国第一台完全自主研发的超级计算机“曙光6000”。n它将采用3000颗主频为1GHz的八核龙芯3B芯片，实现每秒300万亿次浮点运算。n它的效能非常高，每瓦能耗可实现每秒32亿次浮点运算相当于用一个标准灯泡的能耗，实现1280亿次浮点运算。绿色500强（绿色计算）n这是可能的。因为龙芯芯片的主频相对较低，为1.0GHz，而且使用MIPS64架构。nMIPS架构以低功耗高性能著称，这也是MIPS架构被应用于从便携式电脑游戏操控台到无线路由器等各项技术之中的原因。超级计算机的超级计算机的“软肋软肋”nRepackaging chipsnRewriting softwarenEngineering lag time: =Half Life of Parallel Supercomputers.nLow Performance/cost value超级计算机n尽管超级计算机在整个计算市场仅占到很小的份额，但主要硬件厂商都不愿意轻易放弃这一领域，因为从某种意义上讲，超级计算机决定了通用产品的发展方向计算资源n从发展阶段来看,包括n大型机(Mainframe, Super Computer)nC/S计算(PC,服务器)n集群计算nP2P计算n网格计算n云计算C/S架构nC/S架构主要由客户应用程序(Client)、服务器管理程序(Server)组成。n客户应用程序是系统中用户与数据进行交互的部件。n服务器程序负责有效地管理系统资源，如管理一个信息数据库，其主要工作是当多个客户并发地请求服务器上的相同资源时，对这些资源进行最优化管理。nB/S架构是C/S在Web上的变形nC/S架构是伴随着局域网计算平台的发展而发展的，尤其是PC组网的广泛普及导致C/S架构获得了廉价而有相当计算能力的客户机。服务器硬件的选择n从CPU处理器的体系结构来看，服务器分为n基于RISC(精简指令集计算机) 体系结构n典型的RISC体系结构的服务器是小型机。n国外提供该类型产品的公司主要是SUN、HP 和IBM，它们分别使用自己研制的芯片，如SUN 的UltraSparc 系列、HP 的PA-8700 系列、IBM 的PowerPC 系列 服务器硬件的选择n基于CISC (复杂指令集计算机)体系结构nCISC体系结构的典型代表是IA体系（Intel Architecture），该种服务器从PC机发展而来，又称PC服务器，它是目前市场上增长最快和应用最广的服务器。nIA 体系结构由于其价格适中，性能优良，可作为中小型系统购买服务器时选择的目标。在IA 体系产品中，企业级服务器占有相当大的比例。nINTEL和HP公司推出了IA-64 的处理器芯片Itanium，使IA体系结构进入了64 位的高端计算环境 服务器硬件的选择n在系统结构上，服务器多采用SMP （对称多处理器）结构，当前水平可以支持8 个甚至更多的CPU 处理器同时工作。n若对性能要求很高时，单使用SMP 结构已经不能满足需求，可以使用集群计算技术将多个SMP 服务器连接起来，共同完成工作。n集群计算在服务器性能向高端提升的过程中起到决定性作用 服务器操作系统的选择 n在服务器上常见的操作系统有Unix、类Unix和Windows系列等三种。n如果选择PC服务器，操作系统可在Windows、Linux、SCO Unix、Solaris中选择。n如果服务器选择小型机，则操作系统一般随品牌而定。多数小型机服务器都选用Unix操作系统，如IBM公司的AIX操作系统、HP公司的HP-UX，Sun公司的Solaris等。 服务器操作系统的选择 nUnix操作系统nUnix操作系统的主要优点是技术成熟、开放性好、可靠性高、网络功能强大。Unix操作系统能运行于许多机型上，在服务器建设中主要用于小型机。nUNIX操作系统不但以其较高的可靠性、稳定性和较高的安全级别,在一些重要和关键的业务领域得到了广泛的应用,而且UNIX提供了丰富的软件开发工具。nUNIX具有强大的数据库开发环境，大型数据库厂商都把UNIX作为主要的数据库开发和运行平台。n强大的网络功能是UNIX的又一个特点，它支持所有通信需要的重要网络协议，这使得UNIX系统能很方便的与现有的主机系统以及各种广域网、局域网连接。 服务器操作系统的选择 nLinux操作系统nLinux操作系统是所有类UNIX操作系统中最出色的一种。由于它是自由的、没有版权限制的软件，所以是计算机市场中装机份额增长最快的操作系统之一。nLinux操作系统在受到全球众多个人用户认可的同时，也赢得了一些跨国公司的喜爱，如Netscape 、Oracle等公司宣布了对Linux的支持，并推出了基于Linux的产品。nLinux属于开源的操作系统，在价格上极具优势，而且其性能也十分优越。 服务器操作系统的选择 nWindows操作系统nWindows操作系统是目前最流行的网络操作系统之一，具有强大的功能和非常良好的性能，其市场份额正在逐渐扩大。nWindows Server系列操作系统主要有NT/2000/2003/2008等。nWindows操作系统的主要优点在于其技术先进、操作方便，能很好的兼容各种Windows丰富的应用软件，也有利于软件厂商开发新的应用。 服务器的功能选择 n从功能看，服务器主要包括两大部分：业务服务器和Internet服务器。n业务服务器用来实现电子商务和电子政务的各种业务应用，比如CAD自动化系统服务器、企业档案管理系统服务器、企业勘察设计管理信息系统等，这些都属于专用服务器。该部分服务器的设计要满足用户的需求以及应用层软件的开发。n数据库服务器也是一类重要的业务服务器，它们运行和管理企业或政府的业务数据。 服务器的功能选择 nInternet服务器用来实现因特网的各种常见应用，比如WWW、EMAIL等，属于通用服务器。通用的INTERNET/INTRNET服务器是网络应用中不可缺少的重要组成部分。 它包括如下几种不同的服务器：nWEB服务器nMAIL服务器nProxy 服务器（代理服务器）nDNS服务器nFTP服务器服务器的功能选择 n根据功能选择服务器的配置时，常常把服务器分为两大类型：性能敏感型和空间敏感型。n所谓性能敏感型是指所承担的应用功能对服务器的性能要求较高，反应速度要求快，如WWW，DNS，Proxy服务器等服务器。n所谓空间敏感型服务器是指对服务器的存储空间要求大，如FTP服务器等。n另外，数据库服务器，EMAIL 服务器、Lotus Notes等则对二者都有一定的要求，视用户数的多少、用户定额空间的大小、访问的频繁度而偏向于某一种类型。 服务器的结构选择 n按结构划分，服务器基本上可以分为：n塔式、n机架式、n刀片式n通常一种结构的服务器中可以有多种不同档次的服务器。 刀片式服务器n尽管目前塔式服务器已经在市场得以广泛应用，但是随着网络向更深层面发展，刀片式服务器将成为服务器市场的主流产品 n刀片式服务器是一种HAHD（High Availability High Density，高可用高密度）的低成本服务器平台，是专门为特殊应用行业和高密度计算机环境设计的。刀片式服务器n其中每一块“刀片”实际上就是一块系统母板，高度集成了CPU、硬盘、内存、网络接口和控制芯片n“刀片”可以通过本地硬盘启动自己的操作系统，如Windows NT/2000、Linux、Solaris等等，类似于一个个独立的服务器。在这种模式下，每一个母板运行自己的系统，服务于指定的不同用户群 ，相互之间没有关联。n不过可以使用系统软件将这些母板集合成一个服务器集群。在集群模式下，所有的母板可以连接起来提供高速的网络环境，可以共享资源，为相同的用户群服务。 刀片式服务器n刀片式服务器的结构n“刀片”垂直插入到一高度为 3U 或更高的机箱(刀箱)中，然后轻巧地推入到一台标准服务器机架中（1U 设备高度为 1.75 英寸, 4.45cm高 ）。n“刀片”并列地插在刀片服务器机箱的背板上，共享统一的电源供应、风扇、鼠标、键盘以及显示器设备，不仅占地空间更少，还去掉了在机架式服务器中消耗电能的部件，降低了系统电源的发热量。刀片式服务器n刀片服务器还比传统的机架式服务器更灵活，它可以根据业务需求的变化，将不同预先配置的刀片更换到一个刀片机箱中n刀片服务器凭借其在集中管理和空间占用等方面的优势，在一些要求服务器密度很高的行业中备受青睐，比较适合集群计算、数据中心、科研机构和为ISP提供互联网服务。 集群的兴起集群的兴起A Case for NOWIEEE Micro, Feb, 1995. Thomas E. Anderson, David E. Culler, David A. Patterson, and the NOW Team. NOW=Network of WorkstationsNOW=Network of Workstations集群的思想n集群的思想是把大量现成的PC直接放上机架，用高速网络连接在一起，构成一台超级计算机。而不像大型计算机需要专门研制集成电路板，这大大缩减了制造的时间和成本。集群-简单组合单元n简单组合单元(Simple Composite Element,SCE)n是由彼此连接并相似的基本系统单元(计算主存通信存储)组成的,通常都位于一个单一的管理域内且在很多情况下被看做是一个单一的系统n通常也称集群（Cluster）概念n集群（Cluster）是一种分布式处理系统，由很多连接在一起的独立计算机节点组成，像一个单独集成的计算机资源一样协同工作。n计算机节点可以是物理上集中在一起的，也可以是物理上分散而通过LAN连结在一起的。一个连接在一起（LAN基础上）的计算机集群对于用户和应用程序来说像一个单一的系统，这样的系统可以提供一种价格合理且性能快速而可靠的解决方案。 特点n集群计算主要有以下几个特点：n集群技术支持混合平台工作模式，体系结构上可以同时支持RISC和IA节点，操作系统上可以同时支持Windows NT/2000、LINUX、Unix等操作系统。n集群技术具有统一的系统监控和管理功能，可以简单直观的监控到整个集群的软硬件运行状态，同时通过集群的主机入侵检测系统保障系统的安全性。特点n集群计算主要有以下几个特点：n集群技术的架构具有优异的动态扩展性，可以根据用户应用的需要，随时增加新的节点，而不必改动整个集群系统。n集群服务器节点可以根据不同的需要，灵活的进行调整和配置，承担不同的应用服务、计算任务，或通过软件管理协同处理某一特定任务。 分类n集群的分类和工作原理n按照侧重点的不同，可以把集群分为三类：n高可用性集群 n负载均衡集群 n超级计算集群 可用性n计算机系统的可用性定义为：n MTTF/(MTTF+MTTR) * 100% n平均无故障时间（MTTF）：计算机系统平均能够正常运行多长时间，才发生一次故障 n平均维修时间（MTTR）：系统发生故障后维修和重新恢复正常运行平均花费的时间 n由此可见，计算机系统的可用性定义为系统保持正常运行时间的百分比。可用性n计算机产业界通常用如下表所示的9的个数来划分计算机系统可用性的类型。可用性分类可用性分类可用水平可用水平每年停机时间每年停机时间容错可用性999999= between processors in an SMP.nTools for parallel/ distributed computingBenefits of ClusteringnEasy to buildnHigh Performance (HP)nHigh Availability (HA)nScalabilitynCheapOriginal Food Chain Picture引用引用1980s Computer Food ChainMainframeVector SupercomputerMini ComputerWorkstationPC引用引用MainframeVector SupercomputerMPPWorkstationPC1990s Computer Food ChainMini Computer(hitting wall soon)(future is bleak)引用引用Computer Food Chain (Now and Future)引用引用SMP系统与系统与MPP系统比较系统比较SMP (Symmetric Multi Processing),对称多处理系统内有许多紧耦合多处理器，在这样的系统中，所有的CPU共享全部资源，如总线，内存和I/O系统等，操作系统或管理数据库的复本只有一个，这种系统有一个最大的特点就是共享所有资源。SMP系统与系统与MPP系统比较系统比较MPP (Massively Parallel Processing)，大规模并行处理系统，这样的系统是由许多松耦合的处理单元组成的，要注意的是这里指的是处理单元而不是处理器。每个单元内的CPU都有自己私有的资源，如总线，内存，硬盘等。在每个单元内都有操作系统和管理数据库的实例复本。这种结构最大的特点在于不共享资源。Traditional Availability ClustersClientsClientsDisk array ADisk array ADisk array BDisk array BInterconnectInterconnectServerServer A AServerServer B BCluster Computer Architecture引用引用Middleware Design GoalsnComplete TransparencynLets see a single cluster system.nScalable PerformancenEasy growth of clusternEnhanced AvailabilitynAutomatic Recovery from failures引用引用g Size Scalability (physical & application)g Enhanced Availability (failure management)g Single System Image (look-and-feel of one system)g Fast Communication (networks & protocols)g Load Balancing (CPU, Net, Memory, Disk) g Security and Encryption (clusters of clusters)g Distributed Environment (Social issues)g Manageability (admin. And control)g Programmability (simple API if required)g Applicability (cluster-aware and non-aware app.)Major issues in cluster design引用引用Desired SSI ServicesnSingle Entry Pointntelnet cluster.my_institute.eduntelnet node1.cluster. institute.edunSingle File HierarchynSingle Control Pointn Management from single GUInSingle memory space nNetwork RAM / DSM引用引用How to implement SSI ?Application and Subsystem LevelOperating System Kernel LevelHardware Level引用引用Example Cluster:Berkeley NOWn100 Sun UltraSparcsn200 disksnMyrinet SANn160 MB/snFast comm.nAM, MPI, .nEther/ATM switched external netnGlobal OS引用引用NOW System ArchitectureNet Inter. HWUNIXWorkstationComm. SWNet Inter. HWComm. SWNet Inter. HWComm. SWNet Inter. HWComm. SWGlobal Layer UNIX Resource ManagementNetwork RAM Distributed Files Process MigrationFast Commercial Switch (Myrinet)UNIXWorkstationUNIXWorkstationUNIXWorkstationLarge Seq. AppsParallel AppsSockets, Split-C, MPI, HPF, vSMThe UC Berkeley NOW-Sort Team1997-98MinuteSortWinnerMassive Cheap Storage Clustern8 SCSI disks for each nodeCurrently serving Fine Art at http:/www.thinker.org/imagebase/引用引用AlphaServer SC ES45/1 GHz3,000 processors, 6TFlop/speak, 3TB memory集群的问题n大家可能要说，集群计算机这么容易扩展，对于很大的计算问题，只要造一台更大的集群计算机不就行了吗？事情没有这么简单。这幅图反映的就是集群计算机的规模越来越大,从97年到02年看规模扩大了(6倍) 。集群的问题n从97年到02年看规模扩大了(6倍)，性能却没能够成比例地放大(只有2倍) 。换一句话说，就是它的效率下降了。看来，如果一味地想通过扩大规模来提高集群计算机的性能，它的性价比会相应下降，这意味着我们不可能无限制地扩大集群的规模。集群规模与MapReduce运行速度的关系n理论上，随着集群节点数目的增加， MapReduce的运行速度会线性提升。但是实际应用中，有如下的一些限制：n数据不可能无限切分；如果每份数据太小， MapReduce框架的开销就会相对变大；n集群节点数变大，节点之间的通讯开销也会增加。n所以，一般而言，如果集群的规模在几百个节点， MapReduce的速度可以和节点的数目成正比；超过这个规模， MapReduce的运行速度虽然可以继续提高，但是不再以线性增长。P2P计算n既然集群计算机的规模不可能无限制地扩大，那么还有没有别的办法呢？这时，又出现了P2P计算的概念，它突破了集群的地域限制，能把一个大型的计算任务分成很多独立的小块，分散到位于不同地方的PC上运算。P2P含义nP2P(Peer to Peer,对等计算)含义nIntel公司P2P工作组给出的定义为：系统之间通过直接交换来共享计算机资源和服务。nP2P就是人可以直接连接到其他用户的计算机、交换文件，而不是像过去那样连接到服务器去浏览与下载。nP2P另一个重要特点是改变互联网现在的以 大网站为中心的状态、重返非中心化，并把权力交还给用户。P2P含义nP2P(Peer to Peer,对等计算)含义n每个计算机作为节点(peer)，充当客户端、服务器的角色，网络上的所有节点都可以通过直接互连共享信息资源、处理器资源、存储资源基至高速缓存资源等。nP2P是一种分散的、非集中和自组织的分布式系统，利用分布式资源进行关键性的应用。P2P含义nP2P(Peer to Peer,对等计算)含义n网络上现有的许多服务可以归入P2P的行列。n即时通信系统譬如ICQ、AOL Instant Messenger、Yahoo Pager、微软的MSN Messenger以及国内的QQ是最流行的P2P应用nP2P已经由最初的文件共享，转向更深入的应用，如大规模的分布式存储等。P2P：大规模的分布式存储n由于Bigtable需要管理节点集中管理元数据，所以存在性能瓶颈和单点失效问题。n为此，DeCandia等人设计了基于P2P结构的Dynamo存储系统，并应用于Amazon的数据存储平台。n借助于P2P技术的特点，Dynamo允许使用者根据工作负载动态调整集群规模。 380多万台计算机参加，已投入百万年CPU时间，平均每台返回142.81个结果，已经有547,488,318 个结果nCommunity =n1000s of home computer usersnPhilanthropic (博爱的)computing vendor (Entropia)nResearch group (Scripps)nCommon goal= advance AIDS researchHome ComputersEvaluate AIDS Drugs引用引用P2P计算与MapReducen相同点：n将问题分为独立的块，然后进行并行计算。n不同点1：nP2P问题是CPU高度密集型的，相对于计算时间而言，其传输时间微不足道。因此， P2P计算贡献的是CPU周期，而不是带宽。nMapReduce是CPU和带宽高度密集型的。 MapReduce被设计为用来运行那些需要数分钟或数小时的作业，这些作业在一个聚集很高带宽的数据中心运行。P2P计算与MapReducen不同点2：nP2P问题是在接入互联网的不可信的计算机上运行，这些计算机的网速不高，而且数据也不在本地。nMapReduce是在高带宽的高性能数据中心的可信任的专用硬件设备上运行。n不同点3：nP2P计算适合运行在世界各地数万到数百万台计算机上，规模庞大。nMapReduce目前尚不能跨多个数据中心工作，目前所知运行在最多4000台机器的集群上，规模不算庞大。计算的优与劣计算的优与劣n优n集合大量计算机之能力，达到空前的计算能力n使用空闲计算时间，成本很低n劣n用户的注意力有限，不可能有大量的类似活动n对应用的限制：单元之间是独立的n不稳定的计算能力，需要不断推动网格的兴起网格的兴起The Anatomy of the Grid: Enabling Scalable Virtual Organizations. International J. Supercomputer Applications, 15(3), 2001. Ian Foster, C. Kesselman, S. Tuecke. Ian Foster and Carl Kesselman, editors, “The Grid: Blueprint for a New Computing Infrastructure,” Morgan Kaufmann, 1999网格n网格这个词来自电力网，希望计算资源就像电力一样，接上插头就能用电n网格又比P2P进了一步，P2P只是把大问题分解成许多独立的小问题到许多个人计算机上，而网格干脆把所有的资源虚拟成了一台超级计算机。网 格n耦合各种资源的基础结构n计算机 n软件 n数据库 (例如, 人类基因库)n各种仪器 (例如,射电望远镜)n人 (物理学家、数学家、计算机专家)n跨越局域网/广域网边界 n企业, 组织, Internetn统一集成的单一资源引用引用网格计算 vs 集群计算 n不同点n集群局限于某个领域，是为了解决计算能力不足的问题而创建的，因此范围有限，不适用于不同领域参与者之间的资源共享n网格计算能够提供更为广泛可用的、域内/域间的、通信以及资源的共享n集群中的节点是集中控制的，而且集群管理器（Middleware）知道每个节点的状态，而网格计算是分布式控制的。网格计算 vs 集群计算 n联系n集群是网格计算的一个不可缺少的子集，集群可以构成本地网格，它是更大的网格的基础n集群能够减少更高一级网格必须解决的问题的数目n集群使用资源和软件来实现组合单元的外部特性，这些特性影响它的使用或到更大网格中的集成。网格计算 vs p2p计算n相同点n都强调要为分布在不同地点的人们提供资源共享服务n都是分布式计算领域内相对较新的计算学科，如今在世界范围内被家庭、公司以及科学领域广泛使用网格计算 vs p2p计算n不同点n目标社区不同nP2P所关注的资源共享用于那些包含数以百万计用户数量的大型环境，这些用户大多通过家庭桌面系统以及低带宽设备连接到Internet。n网格社区则相对较小，通信和设备带宽相对较高网格计算 vs p2p计算n不同点n资源构成不同nP2P：非信任环境中的同构资源（拥有有限集合的安全需求，较为简单的资源共享拓扑结构）nGRID：可信任环境中的异构特殊资源（拥有更高级别的安全需求和应用完整性，能够处理更复杂、更强大、种类更多、高度互连的资源）网格计算 vs p2p计算n不同点n应用不同nP2P用于特殊任务的全局资源共享。P2P为特殊应用而创建（例如，文件共享、因数分解、外太空生命搜寻），并非所有的应用都可以分解成P2P需要的形式nGrid通过对重要资源灵活、高效、高可用的访问提供强大通用的虚拟计算系统的按需创建网格计算与云计算的比较网格计算异构资源异构资源不同机构不同机构虚拟组织虚拟组织科学计算为主科学计算为主高性能计算机高性能计算机 紧耦合问题紧耦合问题免费免费标准化标准化科学界科学界云计算同构资源同构资源单一机构单一机构虚拟机虚拟机数据处理为主数据处理为主服务器服务器/PC/PC松耦合问题松耦合问题按量计费按量计费尚无标准尚无标准商业社会商业社会