网格计算网格计算Grid Computing Grid Computing 肖侬肖侬第二节第二节 网格的资源管理网格的资源管理娟湖借镶枷窝曾迎录隅札雇监浇槐慰垫咬扯刃曾垢忘猿霍诅趁蚊抨诉廖喇二节网格的资源管理二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬网格和集群网格和集群RMS面临的不同环境面临的不同环境 广域广域分布多域分布多域规模庞大规模庞大资源种类多资源种类多异构性更强异构性更强共享和私有共存共享和私有共存更多的用户更多的用户褪坎岔狈伺腰妄屠苇捌伏硅滋啪霹采莫慕擎低益粹砰仍绷约拢甄奋纷讳绥二节网格的资源管理二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬网格资源管理核心结构网格资源管理核心结构网格资源管理和分配网格资源管理和分配网格资源信息服务网格资源信息服务网格资源监控网格资源监控网格资源需求描述网格资源需求描述资源管理和分配资源信息服务资源监控服务记罗率巍霸盘矣勾尹怀瓣治堕锄旁樊甭凯键迟酋击梦愚例探列陀笼免届绿二节网格的资源管理二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬网格资源管理和分配网格资源管理和分配傅陆锯渣沫堪娄蚜烛彦元献叁胯臻丘涕把江蛤俗鱼哈樟旧叙妻涩留寺及辩二节网格的资源管理二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬资源使用者的需求资源使用者的需求希望根据自己工作活动过程，能够按照需要发希望根据自己工作活动过程，能够按照需要发现、获取和可靠地动态管理计算资源现、获取和可靠地动态管理计算资源不希望受到资源位置、资源本身的使用机制，不希望受到资源位置、资源本身的使用机制，以及计算任务操作的资源细节等干扰以及计算任务操作的资源细节等干扰不关心它们的任务在什么位置执行，中间过程不关心它们的任务在什么位置执行，中间过程如何如何不关心它们的安全机制是什么不关心它们的安全机制是什么等等等等圃零本邦数部抚聚堡啃宙户呆乘榴判怒滇品讥例坟强月纽蓟显项耗钳乖侩二节网格的资源管理二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬多管理域协作的困难多管理域协作的困难不同地点管理域的安全机制不同，资源具有很强不同地点管理域的安全机制不同，资源具有很强的异构性的异构性vschedulers, hardware architectures, operating systems, file systems）用户对远端资源特性知之甚少，也不容易获取这用户对远端资源特性知之甚少，也不容易获取这样的信息。样的信息。 分布式环境可能出现多种不同形式的错误分布式环境可能出现多种不同形式的错误vmulti-site computing environment, computers, networks, and subcomputations都会出现失败都会出现失败 在多个管理域上完成计算任务所需要的跟踪记录在多个管理域上完成计算任务所需要的跟踪记录工作十分繁重和困难工作十分繁重和困难 v特别是在子计算之间的关系和错误出现特别是在子计算之间的关系和错误出现劣熄锗察屠除裴蚂揍耘殴威究辣石序绕鼎蓬硫孜剖蚂蛔蚤缎升贡须藤乎抵二节网格的资源管理二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬网格资源管理和分配要求网格资源管理和分配要求可扩展可扩展v在管理方面没有集中的瓶颈在管理方面没有集中的瓶颈v适应多种应用和管理需求适应多种应用和管理需求有效有效v能够处理大量资源的管理和用户请求能够处理大量资源的管理和用户请求灵活灵活v可以和各种已经存在的资源管理和调度工具共同工可以和各种已经存在的资源管理和调度工具共同工作作v灵活构架各种应用资源管理模型和结构灵活构架各种应用资源管理模型和结构镑策宣椎膊轨乓讥状柑挠洽拾霖曰癣缸曙岛粱微歌僻错准窥傣宋讥稗徘茧二节网格的资源管理二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬网格资源管理和分配任务网格资源管理和分配任务可扩展资源管理体系结构可扩展资源管理体系结构v规模可扩大规模可扩大v兼容各种现行系统兼容各种现行系统v构建多种实现结构构建多种实现结构GRAMGRAMGRAMLSFCondorNQEApplicationRSLSimple ground RSLInformation ServiceLocalresourcemanagersRSLspecializationBrokerGround RSLCo-allocatorQueries& Info各个结点缺乏和整个专项其它项目的沟通和交流。 酒裂丢怎余痊氓班邮耪阳逃绅丝门宏令屁裁媒稠黎淤逼钻絮忽商唆泳雷老二节网格的资源管理二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬网格资源管理和分配任务网格资源管理和分配任务全局统一管理全局统一管理v统一视图统一视图v用户操作多个管理域的资源，如同在一个管理域用户操作多个管理域的资源，如同在一个管理域v在日常的工作中，动态地发现、请求与管理计算资源在日常的工作中，动态地发现、请求与管理计算资源 v不受资源所在地理位置不同的影响不受资源所在地理位置不同的影响 v任务运行时间的长短以及运行该任务的开销任务运行时间的长短以及运行该任务的开销softwareStorageSGIIBM SP2银河银河分布多域资源分布多域资源著房潞德嘿蛙捆茄厨煤拥赖凿奥概绕锯园贫诛弓碍鞍嚷浸呻馏晴狞伶洪凋二节网格的资源管理二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬网格资源管理和分配任务（续）网格资源管理和分配任务（续）保持局部资源管保持局部资源管理的自治特性理的自治特性v每个管理域都有每个管理域都有自己的资源管理自己的资源管理系统和控制策略，系统和控制策略，例如例如PBS，LSF等等v相互之间是一个相互之间是一个平等关系平等关系资源聚合器资源聚合器WASGlobusGlobus资源聚合器资源聚合器SPM北航北航LSFWASGlobusGlobus资源聚合器资源聚合器SPM清华大学清华大学PBSWASGlobusGlobusSPM国防科大国防科大国防科大国防科大YHRSYHRS资源聚合器资源聚合器SPM虑迸面篱仆亿泡红戍肢麦皂捧隆酪佰恿舅赔引晒迂贺滩貉抓棉炎梅易慌饯二节网格的资源管理二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬网格资源管理和分配任务（续）网格资源管理和分配任务（续）多种访问控制和授权机制协调多种访问控制和授权机制协调v全局访问授权和局部访问授权全局访问授权和局部访问授权v全局访问控制和局部访问控制全局访问控制和局部访问控制v用户定义问题？网格用户和局部用户用户定义问题？网格用户和局部用户v多级访问控制？多级访问控制？v映射？映射？ Resource the Is this usert authorized for the CAS?Is this user authorized by capability? 局部局部策略策略信息信息Resource the Is this user authorized for the CAS?Is this user authorized by capability? 局部局部策略策略信息信息逻辑网格管理授权中心逻辑网格管理授权中心两输竞傣详傀窜冰腻馒罕矛垮秽迪键斟痘喷二厕娠邑忱踏笔箔腹延架兹渭二节网格的资源管理二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬网格资源管理和分配任务（续）网格资源管理和分配任务（续）全局资源的联合分配全局资源的联合分配v各个域的资源联合或独立工作解决一个问题，经过各个域的资源联合或独立工作解决一个问题，经过统一的协调和分配统一的协调和分配v一个问题的多个任务在不同管理域资源上运行的联一个问题的多个任务在不同管理域资源上运行的联合管理和统一调度合管理和统一调度v资源的预约和联合预约资源的预约和联合预约v资源的事务性原则保证等资源的事务性原则保证等标准接口标准接口标准接口标准接口标准接口标准接口LSFCondorNQE多个协同分配命令局部资源管理器资源协同分配器拇井徘喊互郡碳旁憋霍捉观洱规搭醛君展镰毕摹肛谴乱罕粕雀浅卒滓兑餐二节网格的资源管理二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬网格资源管理和分配任务（续）网格资源管理和分配任务（续）资源的统一公共接口资源的统一公共接口v各种类型资源的操作接口不同各种类型资源的操作接口不同资源之间的相关性管理资源之间的相关性管理v不同级别的资源管理之间的关系不同级别的资源管理之间的关系标准接口标准接口标准接口标准接口标准接口标准接口LSFCondorNQE多个协同分配命令局部资源管理器资源协同分配器陕呻卡藐姨钞贝松衬芝蒂浙惠咀赡茂帚紊绘绰夹肤磋迫疵煤玩肖砾逆枉低二节网格的资源管理二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬网格资源管理和分配任务（续）网格资源管理和分配任务（续）队列队列v根据属性和资源要求根据属性和资源要求v优先级别优先级别v执行、等待、挂起等执行、等待、挂起等策略的管理策略的管理v计算环境的高级自动控制机制计算环境的高级自动控制机制v多种策略多种策略卓讳瞪振州辩讣稿侈岸皖治窗寿械翘爱哆郁个彪徐扬哦吴少熙弹侩赛瘟茬二节网格的资源管理二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬资源需求描述资源需求描述资源需求的描述资源需求的描述v表达各种资源表达各种资源v表达各种资源的需求表达各种资源的需求v表达各种任务表达各种任务v综合表达能力综合表达能力资源需求的描述语言资源需求的描述语言v语法语法v属性属性v标记标记线撞胸肉枚邑崩嚎赛省官跪穿续杨云乞多侍淄贺兰盼屏喂添桃刹连冲镶肄二节网格的资源管理二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬网格资源信息服务网格资源信息服务跪磋案好瞄讹穷摧侨萌磕扼动顽碌腊收药牵原劈棕评掷卢响弱抉潭锐醚曰二节网格的资源管理二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬网格资源信息服务网格资源信息服务GISGIS（grid Information Servicesgrid Information Services）信息服务：信息服务：关于资源特性和状态的元数据收集、存关于资源特性和状态的元数据收集、存储、管理和服务储、管理和服务v提供资源状况描述资料的服务提供资源状况描述资料的服务对对管理网格、管理网格、应用网格的操作和构建至关重要应用网格的操作和构建至关重要v什么样的资源是合适的？什么样的资源是合适的？资源发现v网格的状态是什么网格的状态是什么?资源选择v如何优化使用资源？如何优化使用资源？用户配置和自适应调节机制需要一个通用的基础信息服务需要一个通用的基础信息服务 v回答上述问题回答上述问题尽筏住闭穆忧坑柬啡焕邻畦服棵捆桑测赫而舅捕桓苞卤噪狮缸益寥妖舌凳二节网格的资源管理二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬信息服务的应用列举信息服务的应用列举调度：问题空间映射到资源空间调度：问题空间映射到资源空间v体系结构、操作系统，系统软件、应用软件体系结构、操作系统，系统软件、应用软件性能、可用性、策略等性能、可用性、策略等v动态信息：负载以及未来资源可用性的预测动态信息：负载以及未来资源可用性的预测服务发现服务发现v记录虚拟组织成员可以得到的各种服务及其记录虚拟组织成员可以得到的各种服务及其特征特征 v此类服务信息的特点：信息相对稳定并且容此类服务信息的特点：信息相对稳定并且容易获得易获得 恬姐鸿使诧撼冀头糯论勒形岩存衬雅绸虐辱援灯芭歼喇速寥秆悲彬益树夺二节网格的资源管理二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬信息服务的应用列举（续）信息服务的应用列举（续）选择最合适的拷贝（数据管理）：选择最合适的拷贝（数据管理）：v合适的数据往往在多个地方有拷贝，选择哪一个？合适的数据往往在多个地方有拷贝，选择哪一个？ v依据：存储系统与网络的系统配置、即时性能与预测依据：存储系统与网络的系统配置、即时性能与预测自适应性保证：自适应性保证：v应用程序与底层环境的各种组件应用程序与底层环境的各种组件v通过对运行的程序及其外部可用资源的监控，结合资源通过对运行的程序及其外部可用资源的监控，结合资源状态，调整应用程序的行为，达到提高效率的目的状态，调整应用程序的行为，达到提高效率的目的性能诊断与故障排除：性能诊断与故障排除：v第一步：发现异常行为第一步：发现异常行为v排除故障的依据：信息排除故障的依据：信息v信息的特点：任意性，动态性，可以由故障排除器通过信息的特点：任意性，动态性，可以由故障排除器通过启发的方式确定启发的方式确定 膀程巫申伎谩湃侗袋蚕涨蹲信存颖玫沽克汽惊诌歹挨溶提舍亦呜搜誓卖迎二节网格的资源管理二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬有用信息的例子有用信息的例子计算资源的特性计算资源的特性vIP address, software available, system administrator, networks connected to, OS version, load网络的特性网络的特性vBandwidth and latency, protocols, logical topology系统的特性系统的特性vHosts, resource managers刨终袒倦症难蓬灵非茶欺毁巨把献臼殷而统泽瞩旨醇瑶苦汇薛养济伐猴芭二节网格的资源管理二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬网格环境信息服务的特点网格环境信息服务的特点 资源信息多样，数量大资源信息多样，数量大v底层基础资源到上层应用和用户底层基础资源到上层应用和用户资源信息来源地理位置分布资源信息来源地理位置分布v分布的状态很难获得分布的状态很难获得vComplexity of global snapshot Complexity of global snapshot 资源信息动态变化资源信息动态变化 v信息往往是过时信息往往是过时v随时间而改变，需要有质量的数据随时间而改变，需要有质量的数据v部件失败部件失败服务规模大服务规模大v可扩展性可扩展性v低开销低开销多种不同的使用场景多种不同的使用场景v不同的策略、不同的信息组织，不同的策略、不同的信息组织，etc.etc.押喜便犬曲殴己崎蜗贝澎驹请违件扫淆茬荷恰参出断蝗蒸塞燕牵远雀照奄二节网格的资源管理二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬网格资源信息服务的要求网格资源信息服务的要求提供提供统一、灵活统一、灵活的的信息访问信息访问方式方式v访问系统及其组件的动态与静态信息访问系统及其组件的动态与静态信息 可扩展高效地访问动态数据可扩展高效地访问动态数据可以访问多个信息源可以访问多个信息源 信息分布维护和保持信息分布维护和保持际镁疙目婴掸趟开昧慈踞公郡绚崖残晌茹包腑考岔叛妓研钨氯观该园资糜二节网格的资源管理二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬GIS GIS 问题问题: : 许多信息源，多个视图许多信息源，多个视图?RRRRR?RRRRR?RRRRR?RRVO AVO BVO C妻围缴肋朔漫满硼旨民赡俐眠请鹏座辉弛来咨陶磐莲男缄沦懂氨归沁衍奠二节网格的资源管理二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬网格资源信息服务网格资源信息服务GIS任务任务资源的信息模型资源的信息模型v资源的特性和状态资源的特性和状态v资源之间的关系资源之间的关系资源信息的描述资源信息的描述v如何描述各种资源如何描述各种资源XML，LDAP？v如何描述资源之间的关系如何描述资源之间的关系资源的信息存储资源的信息存储v资源状态信息存储分布还是集中？资源状态信息存储分布还是集中？李诉螟刃辗拢鸣桑屑捷坡囊珐堪貌有况建阅豫附郑临足跪默归咋及闷攀辫二节网格的资源管理二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬网格资源信息服务网格资源信息服务GIS任务任务资源信息的服务资源信息的服务v提供有关系统的动态和静态信息的统一访问提供有关系统的动态和静态信息的统一访问检索、查询、更新、广播等v资源状态信息对外服务资源状态信息对外服务v网格资源注册协议网格资源注册协议v网格资源查询协议网格资源查询协议灵活多级分布的资源信息服务灵活多级分布的资源信息服务v灵活分布多域的资源管理模型，适应不同的管理模灵活分布多域的资源管理模型，适应不同的管理模型型v灵活构建所需要的信息服务结构和机制灵活构建所需要的信息服务结构和机制在异构和动态的网格环境中的系统配置和自适在异构和动态的网格环境中的系统配置和自适应的基础应的基础骚蔬恃炳谋线数莽眩传贿褥狈饶嘴拳幼圣砂剪杉皋翰豢迎阜条除吗缮愚稗二节网格的资源管理二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬两类信息服务器两类信息服务器资源描述服务资源描述服务v提供关于某个资源的信息提供关于某个资源的信息 (e.g. Globus (e.g. Globus 1.1.3 GRIS).1.1.3 GRIS).汇集目录服务汇集目录服务v汇集多个资源信息服务，形成信息集合汇集多个资源信息服务，形成信息集合 (e.g. Globus 1.1.3 GIIS).(e.g. Globus 1.1.3 GIIS).v个性化命名和索引个性化命名和索引禾琐吟羚激锭样颇氮络琅询坯拒瓤颧铃更蕾善戒棘柞浇复逆睹框稍盔澎迭二节网格的资源管理二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬GIS ArchitectureAACustomized Aggregate Directories RRRRStandard Resource Description ServicesRegistrationProtocolUsersEnquiryProtocol括色套衷篓棱炽蹲迁狼畜鸳铰津镐言强迢嫉禽狐花肘削快酵夸对吨蚊供兼二节网格的资源管理二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬信息服务总体结构信息服务总体结构传统的资源信息服务不足之处。传统的资源信息服务不足之处。vGlobus 1.1.3采用中心服务器模式的资源信息服务采用中心服务器模式的资源信息服务网格系统的扩大，中心保存的信息越来越多，可扩展性差，一些比较动态的信息难以及时更新。Globus目前采取了层次结构和分布式服务目前采取了层次结构和分布式服务v各地点的资源信息服务可以分层，采用各地点的资源信息服务可以分层，采用GIIS和和GRIS的模型完成。的模型完成。v为各地点的资源信息服务增加为各地点的资源信息服务增加cache的功能，缓存其的功能，缓存其他地点的信息他地点的信息径曲彝凿削绦斤伦糙荣芋跃影末宏土饲览茂中泪恫繁段巧区袖酝己测猪隆二节网格的资源管理二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬信息服务总体结构信息服务总体结构允许灵活的多级别信息服务总体结构的建立允许灵活的多级别信息服务总体结构的建立v层次式的信息服务层次式的信息服务v对等式的信息服务对等式的信息服务v混合式的信息服务等混合式的信息服务等v多个访问入口多个访问入口v多级多级Cache标准的查询和注册协议标准的查询和注册协议v兼容各种实现方式兼容各种实现方式通用的信息模型通用的信息模型锄秦在叮描务蜕愧细女型揪彰突曼柿剁醇佐存昔梆藤僻柑掳克很腔收郁菩二节网格的资源管理二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬逻辑层次结构部署逻辑层次结构部署ISI信息服务提供者汇集GradsGusto协议协议协议协议汇集汇集更高级汇集更高级汇集州练裔逞迭抱热求湍咐人钡过幂播钓杏洋厂钱蓝挛景半膝临喊昭谴罪匪篓二节网格的资源管理二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬资源信息模型资源信息模型描述资源的特性和状态描述资源的特性和状态v采用采用OO思想建立信息模版思想建立信息模版描述资源之间的关系描述资源之间的关系v树型结构工具表示或平面结构等树型结构工具表示或平面结构等堵续连出湿烦啼翠埃蔑讽劈鸣按掣瀑赴帮径参洁汇配唾独锁价新叙廖呆星二节网格的资源管理二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬C（国家）（国家）O（组织）（组织）Ou （机构）（机构）dunns jnGridCE用户组用户组用户用户资源信息模版：资源信息模版：资源目录信息模型资源目录信息模型的基本结构树的基本结构树应应用用softwareGridClusterGridHostGridSubClusterGridLocalFSGridRemoteFSGridHostFileGridHostFile账号 城她极别店盔乱壤羞猖男帚梦提徽因夹渭又瞳磊必部鼎士痛凶自窿灭柯谱二节网格的资源管理二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬C（国家）=CN（中国）O(机构)=长沙o=北京o=上海ou=计算中心ou=计算所 Jn（任务）=job01Sw（软件）=gccHn（机器）=银河机器Grp（小组）=GENNd（结点）=node1Cn（人员）=TomOu（组织）=科大 资源信息的表示资源信息的表示Nd（结点）=node1GridAdmin杂鳃尉粮喳契媚杀嫁胞修卞谋姻初抬菜室痰宦酉获蔼肠骄沛劫魏皿霖乱盯二节网格的资源管理二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬举例：举例：MPP资源信息资源信息Objectcalss MassiveParallel Processor requiresObjectclass,mpp name, / mpp 机器的主机器的主机名机名integer Nodenumber，/节节点个数点个数Nodetype，/节点类型节点类型Topefficiency，/ 峰值性能峰值性能Operatingsystem，/操作系操作系统，统，URL，/ url地址地址Communicatebandwidth，/通讯带宽通讯带宽Disk，/ 磁盘空间磁盘空间 Memory，/内存大小内存大小Filesystem，/文件系统文件系统NFS、Topological，/拓扑结构拓扑结构Utilization，/利用率利用率 Softwaresummary，/重重要软件列表要软件列表Parallelsoftware，/ 并行并行软件软件 Compiler，/ 机器上提供机器上提供的编译器的编译器Status，/状态，既是否可状态，既是否可用，用，Description瓜眩态篓窟晨静唐稠崎军退饲憋厢勇胶妊骇降宜具纳越钉妮峙屎闻浇驰坚二节网格的资源管理二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬举例：用户信息举例：用户信息登录名字登录名字 /具有唯一性具有唯一性pwd， /Priority /优先级优先级Expense，/计帐信息计帐信息Rersourcelimit，/全网格内的资源使用限制全网格内的资源使用限制UserClass，/ 用户类别，正规、特殊、试用户用户类别，正规、特殊、试用户 Setuptime，/ 用户帐号建立时间用户帐号建立时间Indate，/ 用户网格帐号的有效期用户网格帐号的有效期 Dn Othergroup，/用户组用户组Authority，/用户权限，网格中的帐号状态用户权限，网格中的帐号状态account /用户帐号用户帐号Name / 用户的真实名字用户的真实名字EmailTelephonenumber，/联系电话号码联系电话号码Department，/工作单位，填写方式类似于工作单位，填写方式类似于descriptionProfession，/职业，可在一定的程度上职业，可在一定的程度上 五砖谴耽铝憎颧展逆舒饭窥壤误庭刀掂躁领铁酉粉骆殊哩狭罩男饯酶潞磺二节网格的资源管理二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬一个信息服务结构案例一个信息服务结构案例网格信息中心网格信息中心全网格的信息全网格的信息（实时更新）（实时更新）结点信息管理器结点信息管理器1 1 其它结点其它结点 备份信息备份信息（定时更新）（定时更新） 结点结点1 1的的 局部信息局部信息（实时更（实时更新）新）结点信息管理器结点信息管理器2 2结点信息管理器结点信息管理器3 3 其它结点其它结点 备份信息备份信息（定时更新）（定时更新） 其它结点其它结点 备份信息备份信息（定时更新）（定时更新） 结点结点2 2的的 局部信息局部信息（实时更（实时更新）新） 结点结点3 3的的局部信息局部信息（实时更（实时更新）新）羔矽动锈颁厌查皿衰赁弘恢镀疗纪嫩搁狸帚偶憨级皖磷瀑破衍度来祥糖吭二节网格的资源管理二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬网格资源监控网格资源监控旬酣氢线夕悦子穴肘选仍奢强霍蹭蛀闻啥赠俯鸿写怪扭诀晕撬禄蜜酶丽铅二节网格的资源管理二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬网格资源监控要求网格资源监控要求可扩展可扩展v在监控方面没有集中的瓶颈在监控方面没有集中的瓶颈v监控数据发送接受数据方面没有集中的瓶颈监控数据发送接受数据方面没有集中的瓶颈有效有效v能够处理许多高容量的信息流能够处理许多高容量的信息流灵活灵活v可以和各种已经存在的监控工具共同工作可以和各种已经存在的监控工具共同工作赵沮晦呜诛麦汾腕缅分考抚忽盟歌杏杏祥雍省截梧未展鸿购侦榆郊灸毒境二节网格的资源管理二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬网格资源监控任务网格资源监控任务获取各个资源的状态获取各个资源的状态v分布式计算环境中各个层面资源分布式计算环境中各个层面资源资源状态的信息收集资源状态的信息收集统一集中监控每个资源的运行状态统一集中监控每个资源的运行状态v及时识别和诊断发生故障的主机和网络及时识别和诊断发生故障的主机和网络v最小化主机和网络失败的影响最小化主机和网络失败的影响v为系统资源管理和网格应用提供支持为系统资源管理和网格应用提供支持分析系统性能瓶颈分析系统性能瓶颈预测系统运行的轨迹预测系统运行的轨迹v对网格动态的应用和资源调度提供依据对网格动态的应用和资源调度提供依据事件机制事件机制钧芍日瓷考梁老池窜咱碎悔坠乡友拈怀饰智夺唯往竭熟臭祸徘匙摔强下朋二节网格的资源管理二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬网格监控与传统监控系统差别网格监控与传统监控系统差别Windows NT/2K 和和 Unix系统中，提供完系统中，提供完备的单机状态和性能监控，不支持远程备的单机状态和性能监控，不支持远程访问。访问。SNMP能够提供远程访问的功能，但只提能够提供远程访问的功能，但只提供了点对点的访问机制。供了点对点的访问机制。机群系统中，监控对象的地理位置相对机群系统中，监控对象的地理位置相对集中决定了其简单的软件及监控对象结集中决定了其简单的软件及监控对象结构不能为网格监控所用。构不能为网格监控所用。酵卑坟石庄蛙幅架潘吨穿摔更乖扛讨涕吱僚栋仍言息拔纤咐沤欧稀值姜湘二节网格的资源管理二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬网格监控与传统监控系统差别网格监控与传统监控系统差别网格监控在广域范围内是可扩展的，能网格监控在广域范围内是可扩展的，能包容异构资源包容异构资源兼容已经存在的监控工具兼容已经存在的监控工具在命名和安全方面能和其他的网格中间在命名和安全方面能和其他的网格中间件集成件集成适应多个管理域适应多个管理域涟郧指樊箕肿函撼骤硒蹦比瑰际六行惟弛迟脑害币晋棕午鹤今帅聪陡真塘二节网格的资源管理二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬网格监控信息特性网格监控信息特性更新频繁更新频繁性能信息是随机的性能信息是随机的数据的集成和传递必须高性能数据的集成和传递必须高性能性能度量的影响必须最小化性能度量的影响必须最小化弱邑锣筛蔓铣丁颈揽滁唁言臣块零婶售咬吧形撂狭趣尺允胶哮腆步帽或戌二节网格的资源管理二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬网格监控对象和事件表示网格监控对象和事件表示监控对象：需要掌握运行状态的计算资监控对象：需要掌握运行状态的计算资源。以主机为中心，由上而下分为源。以主机为中心，由上而下分为3类：类：v系统类（系统类（CPU Usuage , Memory Usuage etc.）v网络类（主机间通信延迟，数据传输的带宽，网络类（主机间通信延迟，数据传输的带宽，路由情况等）路由情况等）v应用类（应用类（Web服务器，服务器，DB服务器或其他事服务器或其他事务服务器的运行状态）务服务器的运行状态）端斜曹疵捍漱窖郴袜酸朔恩郡觅凉纫踞爵淀偏婶籍封藤吏煤雹束霍微迪政二节网格的资源管理二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬网格监控对象和事件表示网格监控对象和事件表示监控事件：与监控对象紧密联系，是在监控事件：与监控对象紧密联系，是在特定时间由特定输入触发的输出结果，特定时间由特定输入触发的输出结果，每个监控对象对应每个监控对象对应3种监控事件种监控事件v警告警告v故障故障v数据过期（时效性）数据过期（时效性）钱赊恫爹醋膘寓外剪酚卫昧比枪痹之挚钮钵炼握锻竹昂锭谈计构始孺求釉二节网格的资源管理二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬GMA (Grid Monitor Architecture)GMA基本介绍基本介绍GMA体系结构和术语体系结构和术语GMA组件和接口组件和接口GMA的应用例子的应用例子紧旁到俘内拍晕咋峰隐韭存札扳折分圣板糜炮毫伟坷肿旧子办军响僧晃濒二节网格的资源管理二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬GMA基本介绍基本介绍GGF Performance Working Group提提出草稿出草稿v规范网格监控术语的定义与描述规范网格监控术语的定义与描述v解决网格监控工具开发的互操作性。解决网格监控工具开发的互操作性。主要贡献是提出主要贡献是提出Producer/Comsumer模型和模型和Event Subscribe的数据传送方式的数据传送方式利腆鲁妻贩停鳃阶鄙较邵岂衰肘阅缄简蜕醛幢铱鹃擦撅娄打对轨礼飞跪晤二节网格的资源管理二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬GMA体系结构和术语体系结构和术语GMA体系结构：由三种类型的组件组成体系结构：由三种类型的组件组成vConsumervProducersvDirectory Service扎替个柱集删闺侠尸柜核社萨辫余铡圃椰溶仍潮拧曾期豺潍甚铺键春哟草二节网格的资源管理二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬GMA体系结构体系结构杠歪锗踏尼唯攒砚救耍灶距酌限牧鼠歹霞夫逝朵腮滴裴等蕴模膛骇淘应寞二节网格的资源管理二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬GMA体系结构体系结构ProducerDirectoryService(LDAP?)Consumer1) Event publicationinformation2) Lookup3) Event producer & Event schema information 5) Event data4) Query or Subscribe= API & wire protocol & data format Plus security!绑郑言南尉掖干判勋莫链京非鲍冬莫柑愿难邑郧坛堆凤挪碎徘添尿焉钠杰二节网格的资源管理二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬GMA术语术语Events：命名的数据集合，可以与任何事物相：命名的数据集合，可以与任何事物相关，但是一般指关，但是一般指Memory Usage, CPU Usage, Network Usage，或者错误条件（如服务进程，或者错误条件（如服务进程崩溃等）；崩溃等）；Producer（生产者）：使（生产者）：使Event Data 可用的组可用的组件；件；Consumer：请求或者接受：请求或者接受Event Data 的任何的任何进程；进程；Directory Service：发布哪些：发布哪些Event Data是可用是可用的，和哪个的，和哪个producer 联系以得到这些数据；联系以得到这些数据；翔扮幕拙壶罚帽者勾驱犁齐酮瓦松惭敞榔纳挤改馁羔嚼詹肪辛弗反啄趴暑二节网格的资源管理二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬生产者生产者/消费者间的互操作消费者间的互操作GMA体系结构支持体系结构支持3种在生产者种在生产者/消费者消费者之间传输数据的互操作：之间传输数据的互操作：publish/subscribe：互操作的发起者可：互操作的发起者可以是以是生产者，也可以是消费者生产者，也可以是消费者query/response：发起者必须是消费者，：发起者必须是消费者，类似类似HTTP的的request/replynotification（通知）：发起者必须是生（通知）：发起者必须是生产者，所有互操作由生产者一步完成。产者，所有互操作由生产者一步完成。换橡老庸眨乙互揖绎挠亨桩需钵惺佛鹤秩左揭舟涟碍险辕腾胡鳞惠陛领滦二节网格的资源管理二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬GMA GMA 生产者和消费者协议生产者和消费者协议 (1)(1)Publish/Subscribe modelvConsumer can subscribe to Producer to receive a stream of eventsvProducer can subscribe to Consumer to push a stream of eventsvEither side can unsubscribeQuery modelvConsumer can get a single event尧轰乘靳宁擒诡掂紫掇椭强道蠢俞疮辐箭应滤虚垂卷客妹述呻位励氰浸表二节网格的资源管理二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬GMA GMA 生产者和消费者协议生产者和消费者协议 (2)Example of Consumer subscribing to latency information between two hosts.由陆陌削蹭漾驴志洲岩俺哪叮弃免搭徒盔鲸掷奇痒猪雪止朽堆镶渊迪秋谅二节网格的资源管理二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬GMA组件和接口组件和接口Directory Serviceproducerconsumercompound components痘浙督嘛翘的蝎闲酶改赵枪算斑漱猴涣散驱乏帆巫肉镜晨禽撰刨诉八混囤二节网格的资源管理二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬Directory Service目录服务的作用是定位、命名和描述网格中具目录服务的作用是定位、命名和描述网格中具有结构化特征的数据，让信息消费者（有结构化特征的数据，让信息消费者（users, visualization tools, programs and resource schedulers）发现信息、理解可用信息的特性。）发现信息、理解可用信息的特性。信息生产者必须能够更新信息以反映系统状态。信息生产者必须能够更新信息以反映系统状态。Directory Service包含所有可用事件数据的列包含所有可用事件数据的列表，使表，使Consumer可以发现当前可用的事件数可以发现当前可用的事件数据，数据的特性，以及应该和哪个据，数据的特性，以及应该和哪个Producer联联系以获取指定类别的数据。系以获取指定类别的数据。亦涨斡鹅恿膝果痞锨拖硅替衣方流腆提驮亡婆逼镣瓢蟹声森钳泉殖湃金钧二节网格的资源管理二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬Directory Service（Cont.）简单来说，目录服务并不储存事件的附简单来说，目录服务并不储存事件的附加数据加数据,它只提供数据的名称、特性和位它只提供数据的名称、特性和位置信息。这样一来置信息。这样一来,若想获得事件的数据若想获得事件的数据,首先要通过目录服务找到该事件生产者首先要通过目录服务找到该事件生产者的静态信息，比如事件类型、主机地址的静态信息，比如事件类型、主机地址等，然后再向该生产者发出请求获得相等，然后再向该生产者发出请求获得相应数据。应数据。甚皆涪简蚜骂级躲披氏恢徽齿圃井脖蓖燕押佰辱桓碎湘憋幽敷失辱伦灵勉二节网格的资源管理二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬Directory Service支持的功能支持的功能Add： 向目录加入记录（向目录加入记录（entry）。）。Update：改变记录在目录中的状态。：改变记录在目录中的状态。Remove：从目录中删除一个记录：从目录中删除一个记录Search：查找事件数据，：查找事件数据，Client可以指定可以指定是仅仅返回一个结果、还是多个结果。是仅仅返回一个结果、还是多个结果。方程藐匝伯讽稀绳届橇累巡校槛皱吓寨烤弱徒括丘珍锈挨次疙钢迈侍漫评二节网格的资源管理二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬Producer负责通过接口为负责通过接口为Consumer提供事件数据的组件。提供事件数据的组件。Producers 将在目录服务中发布事件可用信息。将在目录服务中发布事件可用信息。A given component may have multiple producer interfaces, each acting independently and sending events. vThe term producer is used interchangeably, and inexactly, to refer both to a single producer interface and to a component that contains at least one producer interface.倦逸瓤舅不湛炳邯港憎燃董诊忆购哑姆铆驯斥兽砾殷耐稍桂耻抬涉岁罗胳二节网格的资源管理二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬Producer 支持的功能支持的功能Maintain Registration :vadd/update/remove directory service entry or entries describing events that the producer will send to a consumer.Corresponds to Directory Service Add,Update, and Remove.Accept Query: 接受接受Consumer的查询，的查询，返回一组事件。返回一组事件。掠徐沫工糯狐佣害寂翅剥剪娜墨媒浮临美充中即霍剧菲萝漏蒲咸滚哗森品二节网格的资源管理二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬Producer 支持的功能支持的功能Accept Subscribe:接受接受Consumer的请求订阅。的请求订阅。 如果订阅成功，生产者发送事件数据给消费者如果订阅成功，生产者发送事件数据给消费者直到订阅被终止。直到订阅被终止。Accept Unsubscribe:接受接受Consumer的取消的取消订阅。如果订阅。如果Consumer取消订阅，取消订阅，Producer应应该自动取消其在任何地方的订阅。该自动取消其在任何地方的订阅。 Locate Consumer:在在directory service中查中查找一个消费者找一个消费者追幕网渍雷宽松年公娠循柳眩窗馏影搔蝇滚稍鼠漱蝶戊啃已娩莉胸落秧对二节网格的资源管理二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬Producer 支持的功能支持的功能Notify（通报）：发送一个单一的事件数（通报）：发送一个单一的事件数据给消费者据给消费者Initiate Subscribe: Producer 异步开始异步开始与与Consumer之间的订阅。被授权可以给之间的订阅。被授权可以给Consumer传送数据。传送数据。Initiate Unsubscribe: Producer通知通知Consumer订阅将结束。订阅将结束。说盾牌瓶漏氟率序杭矽懊树剩驾馒甜瞳祸檄骸沼财潘烂县掠钡爬鸥孜出乙二节网格的资源管理二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬ProducerProducer也可以用于访问控制，容许不也可以用于访问控制，容许不同等级的用户进行不同的访问。由于网同等级的用户进行不同的访问。由于网格一般有多个组织来控制被监控的资源，格一般有多个组织来控制被监控的资源，因而会有不同的访问策略，支持不同的因而会有不同的访问策略，支持不同的访问频率，对组织内外的访问频率，对组织内外的Consumer将提将提供不同的性能细节。供不同的性能细节。玖噶吊铂遍姿己砍萨因貌涎躯驹惰预视辈功阁睦幕功焙谊盈薄辈陪尾叛趾二节网格的资源管理二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬ConsumerConsumer 是通过接口从是通过接口从Producer接受事接受事件数据的任意组件。接收来自件数据的任意组件。接收来自Producer的异步请求的的异步请求的Consumer将在目录服务中将在目录服务中发布这一信息。发布这一信息。一个一个Consumer组件可能包含一个或多个组件可能包含一个或多个接口，每个接口可单独从接口，每个接口可单独从Producer接受接受事件数据事件数据寅需钩种听疆搜谎诈嗣溢综蔑梢护浸痉阑购边锌璃术模栏核奄阔织呵剖亨二节网格的资源管理二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬Consumer 支持的功能支持的功能Locate Producer: Consumer向目录服务查询向目录服务查询生产者生产者Initiate Query:请求请求从从producer接收一个或者接收一个或者一组事件。可以设置一组事件。可以设置filter表明感兴趣的部分。表明感兴趣的部分。Initiate Subscribe:Consumer 请求建立到请求建立到producer的连接以连续接收数据。的连接以连续接收数据。Initiate Unsubscribe:Consumer告诉告诉Producer关闭关闭Subscribe。 Subscription 被删除，被删除，producer确认之后不再在这个确认之后不再在这个Subscription上传送数据。上传送数据。闪鲜尝哼玻庞槛柏节触硝剁丫吉棕磁茶两揣涨重快豺肖滇躇蕉枣筏汝吮嗜二节网格的资源管理二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬Consumer 支持的功能支持的功能Maintain Registration: 增加增加/更新更新/删除目录服删除目录服务中有关从务中有关从 producer接收的事件的记录。接收的事件的记录。 Accept Notification: Consumer 接受来自接受来自Producer通知。通知。Accept Subscribe: Consumer接受来自希望传接受来自希望传送数据的送数据的Producer的的subscription。Accept Unsubscribe: Consumer 接受来自接受来自Producer的取消订阅请求。的取消订阅请求。定位消息模式定位消息模式:在给定的事件类型中在模式库中在给定的事件类型中在模式库中搜索请求搜索请求辕糜免霉蒜膊妹他幕志瓢差意胆炉屉渣遇抗剖疙很朵轨捷喝嘎诣尺岁破幸二节网格的资源管理二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬Consumer 的类型的类型具有以下类型的具有以下类型的Consumer:1、Realtime monitor： 实时收集监控数实时收集监控数据供实时分析工具使用。据供实时分析工具使用。2、Archiver：为存档服务收集信息。收集：为存档服务收集信息。收集的信息可以供历史分析。的信息可以供历史分析。3、 Overview monitor：从多个信息源收集：从多个信息源收集事件，使用组合信息做出无法基于单个事件，使用组合信息做出无法基于单个主机的数据做出的决定。主机的数据做出的决定。坠阂藐歉绦存尤十驴晚蛹普船袖情异版属落颊玻虽涵裔仔几漱舍题烂最戍二节网格的资源管理二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬Consumer & Producer有的组件同时既是有的组件同时既是Consumer也是也是Producer山摊侮绥氨务锐见含胎论担雏疯基遣剧锄楞缘抑瓜闺仇克答钝谩躲察萨娄二节网格的资源管理二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬事件数据源事件数据源用于构建事件的数据能从许多资源上进用于构建事件的数据能从许多资源上进行收集。比如硬件行收集。比如硬件/软件传感器能够收集软件传感器能够收集实时的性能数据；另外，通过数据库的实时的性能数据；另外，通过数据库的查询接口可以得到历史数据。如图查询接口可以得到历史数据。如图3完整的监控系统，比如说完整的监控系统，比如说NWS，可以看，可以看作一个事件数据源。作一个事件数据源。亲酿温圃赶肤寇辖涌撅焰卞骇香色洒幢赞环偿灾赊邻稍澡院欺桂崎氢起萤二节网格的资源管理二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬事件数据源Figure 3: Sources of Event Data雍未坍拜咕蘸疵嫁炼萧噶鞠咋逞赡娄视席讶验魏案他筒馒豪雹佑院恨蔽膀二节网格的资源管理二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬Produce and Sensor一个一个Producer可以关联一个传感器、一可以关联一个传感器、一个指定主机上的所有传感器、一个给定个指定主机上的所有传感器、一个给定子网的所有传感器、或者任意一组传感子网的所有传感器、或者任意一组传感器。这些在器。这些在GMA中没有定义，可以实现中没有定义，可以实现时确定。时确定。一个一个Producer和和Sensor的关系如下图：的关系如下图：洋日钱校溃跌吉旋荐便淡稗筛棺侗毯函理静强炊闸欲疙潞江良豌寅粤苑叶二节网格的资源管理二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬Producer和和Sensor的关系的关系捡拾塔痊间泅羹吾比呆炎邀棱秩还吏锯蹋互此实唁田捏范嘉袋夸便汀背靴二节网格的资源管理二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬GMA的应用例子的应用例子烩判虹傀歼观潍贺法攻柱闻件渍滑浪鹃馈弧巧丫匪完嘱涟悬蛛绰寨坊雾瞬二节网格的资源管理二节网格的资源管理