Hohai University“十五十五十五十五”“211”“211”“211”“211工程工程工程工程”建设子项目建设子项目建设子项目建设子项目高性能工程计算平台高性能工程计算平台高性能工程计算平台高性能工程计算平台建设成果介绍建设成果介绍建设成果介绍建设成果介绍2006200620062006年年年年6 6 6 6月月月月Hohai University提高计算水平，实现资源共享提高计算水平，实现资源共享提高计算水平提高计算水平精细模拟，高速运算，有限精细模拟，高速运算，有限实现资源共享实现资源共享整合学校已有资源、集中建整合学校已有资源、集中建1.1.建设目标建设目标设新资源，能方便地为广大设新资源，能方便地为广大师生使用师生使用元法解题规模达到百万自由元法解题规模达到百万自由度以上度以上Hohai University2.2.技术路线技术路线网格是什么网格是什么网格是在国际互联网基础上建立的一个全新的网格是在国际互联网基础上建立的一个全新的计算平台，它管理跨区域、跨管理域的计算机、数计算平台，它管理跨区域、跨管理域的计算机、数据库、传感器、远程设备、应用软件等各种资源，据库、传感器、远程设备、应用软件等各种资源，实现分布资源的有效集成，并为网格应用提供全面实现分布资源的有效集成，并为网格应用提供全面的资源共享接口，提高资源利用率，满足人们对广的资源共享接口，提高资源利用率，满足人们对广域范围内各种资源的共享需求。域范围内各种资源的共享需求。采用最新发展起来的计算机网格技术采用最新发展起来的计算机网格技术Hohai University网格系统处在分布网格系统处在分布式资源和用户中间，作式资源和用户中间，作为用户和资源之间的一为用户和资源之间的一个桥梁，主要作用是把个桥梁，主要作用是把用户和资源联系起来，用户和资源联系起来，提供用户对资源的透明提供用户对资源的透明使用，支持全方位的资使用，支持全方位的资源共享。源共享。网格的三层结构网格的三层结构网格的体系结构网格的体系结构Hohai University开发网格管理系统的协议、工具开发网格管理系统的协议、工具国际互联网上使用的协议：国际互联网上使用的协议：HTTPHTTP超文本传输协议超文本传输协议FTPFTP 文件传输协议文件传输协议SMTPSMTP简单邮件传输协议简单邮件传输协议Hohai University万维网服务相关协议：万维网服务相关协议：XMLXML 可扩展标记语言可扩展标记语言SOAPSOAP简单对象访问协议简单对象访问协议WSDLWSDL万维网服务描述语言万维网服务描述语言UDDIUDDI统一描述、发展和集成统一描述、发展和集成Hohai UniversityGlobusGlobus项目与项目与GlobusGlobus工具包工具包GlobusGlobus是目前国际上最有影响的与网格计算相关的项目之一是目前国际上最有影响的与网格计算相关的项目之一是美国是美国ArgonneArgonne国家实验室等科研单位的研发项目国家实验室等科研单位的研发项目Globus ToolKitGlobus ToolKit是在是在GlobusGlobus项目研究基础上开发出的能在多种平项目研究基础上开发出的能在多种平台上运行的网格计算工具包软件，能够用来帮助台上运行的网格计算工具包软件，能够用来帮助规划和组建大型网格平台、开发适合大型网格系规划和组建大型网格平台、开发适合大型网格系统运行的大型应用程序。统运行的大型应用程序。现现在在发发展展到到基基于于OGSAOGSA（开开放放网网格格服服务务结结构构），并并融融合合了了Web ServiceWeb Service技术的技术的3.03.0版与版与4.04.0版。版。Hohai University 河海校园网格拓扑图河海校园网格拓扑图3.3.河海校园网格的体系结构河海校园网格的体系结构Hohai University硬件资源：硬件资源：5 5个计算机集群，共个计算机集群，共8686个个CPUCPUvv 信息中心信息中心IBMIBM刀片式服务器集群刀片式服务器集群10CPU10CPU 联想服务器集群联想服务器集群32CPU32CPUvv 计算机学院计算机学院IBMIBM刀片式服务器集群刀片式服务器集群16CPU16CPUvv 工程力学系工程力学系HPHP机架式服务器集群机架式服务器集群24CPU24CPUvv 常州校区常州校区PCPC机集群机集群4CPU4CPU内存总容量内存总容量110GB110GB，磁盘总容量，磁盘总容量5600G5600G理论峰值速度理论峰值速度5 5千亿次千亿次/ /秒（秒（500G FLOPS500G FLOPS）Hohai UniversityIBM集群集群HP服务器集群服务器集群联想服务器集群联想服务器集群Hohai University资源层的软件资源资源层的软件资源vv 系统软件系统软件 操作系统操作系统 Red hat LinuxRed hat Linux 编译环境编译环境 GCCGCC（C C，C C， FORTRANFORTRAN） 并行环境并行环境 MPICHMPICH 本地资源管理本地资源管理 SUN Grid Engine 6SUN Grid Engine 6河海校园网格结构图河海校园网格结构图Hohai Universityvv 应用软件应用软件 商业软件商业软件AbaqusAbaqus （并行版）（并行版）16CPU16CPU PFEPGPFEPG（并行有限元程序生成系统）（并行有限元程序生成系统）14CPU14CPU自研软件自研软件Adv FEMAdv FEM（非线性并行有限元程序）不限（非线性并行有限元程序）不限CPUCPU教学软件教学软件FEMFEM、BEMBEM教学程序教学程序1010余个余个基础并行软件平台基础并行软件平台 LAPACKLAPACK线性代数库线性代数库 SCALAPACKSKSCALAPACKSK可扩展线性代数库可扩展线性代数库ARPACKARPACK稀疏矩阵特征值求解器稀疏矩阵特征值求解器 PARPACKPARPACK稀疏矩阵特征值并行求解器稀疏矩阵特征值并行求解器Hohai University网格服务层：包括全局信息服务中心，全局资源调度中心，网格服务层：包括全局信息服务中心，全局资源调度中心，网格数据库，应用模板库等网格数据库，应用模板库等使用使用Globus ToolKit 4.0Globus ToolKit 4.0以及以及SGE 6SGE 6开发开发在在网网格格层层面面上上对对底底层层的的各各种种不不同同的的分分布布式式资资源源进进行行调调度度管管理理，执执行行信信息息收收集集等等功功能能，能能够够对对用用户户隐隐藏藏底层硬件资源的异构特性。底层硬件资源的异构特性。Hohai University客户端服务层：对最终用户提供服务客户端服务层：对最终用户提供服务vv 用户身份验证用户身份验证vv 用户任务管理用户任务管理vv 用户信息监控用户信息监控提供用户注册、登陆及资源注册服务提供用户注册、登陆及资源注册服务用户管理用户管理Hohai University用户可对作业进行提交、调试、用户可对作业进行提交、调试、查询、下载和删除等操作。查询、下载和删除等操作。作业管理作业管理用户可以实时查询资源使用情况以用户可以实时查询资源使用情况以及监控作业的状态信息。及监控作业的状态信息。信息监控信息监控Hohai University通通过过PortalPortal以以WebWeb方方式式和和ShellShell方式使用网格资源方式使用网格资源vv 网格资源服务方式网格资源服务方式WebWeb方式服务方式服务用户可通过用户可通过WebWeb界面使用系统界面使用系统的计算能力和信息资源。用户的计算能力和信息资源。用户只需在浏览器输入网址：即可。只需在浏览器输入网址：即可。 4.4.河海校园网格的应用河海校园网格的应用Hohai UniversityShellShell方式服务方式服务方式服务方式服务 通过远程通过远程ShellShell方式用户方式用户可以直接登陆到集群进行操可以直接登陆到集群进行操作，这种方式能满足用户的作，这种方式能满足用户的更多需求。更多需求。Hohai University远程图形终端服务使用户使用更加直观，实现了资源最大限度的共享。Hohai University网格应用软件库网格应用软件库u 专业软件库专业软件库PFEPG ABAQUS ADV-FEMu 用户自备程序用户自备程序提供串行并行作业和复提供串行并行作业和复杂作业的提交杂作业的提交u 教学程序库教学程序库为广大师生提供方便快为广大师生提供方便快捷的学习和应用平台捷的学习和应用平台u 基础并行软件平台基础并行软件平台提供自主开发和开源的提供自主开发和开源的求解器求解器Hohai UniversityABAQUS PFEPG专业软件作业提交界面专业软件作业提交界面Hohai University用户自备程序提交 教学程序作业提交 Hohai University基础并行软件平台基础并行软件平台Hohai University应用举例：云南某面板堆石坝三维非线性有限元分析应用举例：云南某面板堆石坝三维非线性有限元分析用用Adv FEMAdv FEM计算计算四面体单元数四面体单元数12959211295921结结 点点 数数231574231574Hohai UniversityCPUCPU数数计算时间（计算时间（s s）1 146084.446084.44 4543.3543.38 8156.3156.3121291.591.5161673.773.7Hohai University区域分解Hohai Universityx方向位移Hohai Universityy方向位移Hohai University系统特点：系统特点：vv 高度的可扩展性；高度的可扩展性；vv 统一以作业形式调用底层资源；统一以作业形式调用底层资源；vv 支持支持WebWeb、远程、远程ShellShell客户端服务方式客户端服务方式vv 以模块库方式实现预构件以模块库方式实现预构件Hohai University学术交流与培训学术交流与培训网格报告会网格报告会介绍网格介绍网格 交流网格交流网格u协办全国第二届网格主题日(2004年12月5日)u组织Sun公司网格计算技术研讨会(2005年4月1日)u举办校庆期间河海网格系列报告会(2005年10月)u举行上海超算中心并行计算讲座(2006年4月1日)u筹办举行水利高性能计算研讨会(2006年6月)Hohai University人才培养人才培养研究网格研究网格 利用网格利用网格研究人员培养研究人员培养培养了10余名博士，硕士研究生从事网格高性能计算的研究。网格用户培养网格用户培养2005年11月举办并行有限元程序生成系统（PFEPG）培训班，共有近160人听课。2006年5月为研究生开设高性能计算的方法及其应用课程（2个学分）。课程内容及授课教师：绪论水利呼唤高性能计算（2学时）姜弘道教授第一章高性能计算概述（5学时）贺海武博士第二章Linux基础（5学时）贺海武博士第三章MPI并行程序设计（12学时）秦忠国教授第四章网格计算基础（6学时）江红副教授第五章网格计算应用（6学时）姜弘道教授，秦忠国教授时间：第13周5月15日开始，共6周，每周3次课Hohai University学术交流学术交流以网格的精神研究网格以网格的精神研究网格国内交流国内交流 访问了：中国科技大学、上海交通大学、上海超级计算中心、上海大学等单位的网格研究机构，进行了深入的学术交流； 发表相关学术论文2篇国际交流国际交流2005年8月在WSEAS发表2篇论文；访问美国、加拿大有关大学，学习、交流 网格与高性能计算。 内华达大学：国家能源与环境超算中心 先进环境科学计算网格 AccessGrid 阿克隆大学：俄亥俄超算中心 阿尔伯特大学：WestGrid，AccessGrid 舍布鲁克大学：科学计算中心Hohai University目前用户情况：目前用户情况：教师教师1010余人，学生余人，学生4040余人，外单位余人，外单位1 1人。如：人。如：余钟波分布式流域水文模型研究及应用余钟波分布式流域水文模型研究及应用严以新南水北调工程对长江口生态因子的影响严以新南水北调工程对长江口生态因子的影响王如云海洋潮流计算模式的研究王如云海洋潮流计算模式的研究任青文大型隧洞稳定性分析任青文大型隧洞稳定性分析徐卫亚基于区间有限元的开挖支护措施非线性分析徐卫亚基于区间有限元的开挖支护措施非线性分析糯扎渡水电站糯扎渡水电站1 12 2导流洞开挖参数反演分析导流洞开挖参数反演分析章青地下结构渗流问题分析章青地下结构渗流问题分析Hohai University谢谢大家！谢谢大家！