-作者xxxx-日期xxxxIBM Platform LSF家族安装和配置简介.V1.0【精品文档】_IBM Platform LSF家族安装和配置简介版 马雪洁【精品文档】目录1集群结构1单纯LSF环境（命令行提交）1LSF+PAC环境（WEB提交）1LSF+PM环境（PM提交）32LSF安装和基本配置举例3LSF安装步骤3获得LSF和PAC安装包3解压缩lsfinstall安装脚本文件4修改配置文件4执行安装4配置开机自启动4测试安装4启动/停止LSF进程（三种方式）5测试提交作业5使能root提交作业5修改配置文件后reconfig6日志和debug6配置文件说明6常用命令7配置公平竞争调度策略7添加轮循调度队列7添加层次公平竞争策略8多队列公平竞争策略8使能配置9配置抢占调度策略9配置全局限制策略10限制用户运行的作业数目10限制节点运行作业数目10限制队列作业的运行限制10设定General limits11使能配置12配置提交控制脚本esub12配置资源管理elim示例12汇报home目录空闲大小12汇报root进程数目12汇报应用程序许可证数目13测试elim脚本14添加资源定义和资源地图14查看资源数目143LSF命令行集成应用示例14CFD+集成（spooling file）14CFD+安装和许可证14集成许可证管理elim14添加CFD+ job starter15添加CFD APP profile17CFD+命令行提交脚本实例17GAUSSIAN集成方式（spooling file）18Gaussian安装和许可证18Gaussian命令行提交脚本实例18Abaqus的脚本集成（bsub命令）18Platform MPI作业19Openmpi作业20Intel MPI作业20Express版本不记账方式20Express版本blaunch记账方式22Standard版本PAM集成方式274安装PAC295使用PAC进行应用程序集成30Gaussian界面集成过程31CFD+集成后界面和后台脚本36在PAC中监控许可证386安装License Scheduler40基本安装测试40基本配置举例40添加许可证服务器地址40映射许可证feature：40使用许可证资源41配置许可证调度策略417常见问题418使用man page419售后技术支持411 集群结构较大的集群都会设计 单独的登录节点，用户只能ssh到登录节点，不能直接ssh到集群的任何主节点和计算节点。同时配置用户在计算节点之间的ssh互信，为了并行作业的运行。登录节点也安装LSF，配置为LSF 静态Client或者MXJ值为0，也即不运行作业的客户端。集群的WEB节点与办公访问局域网一个网段。如需使用浮动client，主节点网卡需要1.1 单纯LSF环境（命令行提交）1.2 LSF+PAC环境（WEB提交）用户通过portal提交作业：1.3 LSF+PM环境（PM提交）2 LSF安装和基本配置举例2.1 安装前的准备工作NIS ready；NFS/GPFS ready；2.2 LSF安装步骤Use root to install.Get NIS and NFS/GPFS ready.2.2.1 获得LSF和PAC安装包lsf8.3_linux2.6-glibc2.3-x86_64.tar.Z lsf8.3_lsfinstall_linux_x86_64.tar.Z pac8.3_standard_linux-x64.tar.Z 许可证文件platform_hpc_std2.2.2 解压缩lsfinstall安装脚本文件 Put the package under /root/lsf2.2.3 修改配置文件首先添加集群管理员lsfadmin。vi ins LSF_TOP=/opt/lsf (安装目录) LSF_ADMINS=lsfadmin (先创建lsfadmin的用户名) LSF_CLUSTER_NAME=platform (集群名称，任意指定) LSF_MASTER_LIST=s2 s3 (LSF管理节点) LSF_ENTITLEMENT_FILE=/root/lsf/platform_hpc_std_entitlement.dat (安装源许可证的地址) LSF_TARDIR=/root/lsf/ (安装源文件包的地址)2.2.4 执行安装2.2.5 配置开机自启动hostsetuprhostsetup2.2.6 测试安装安装目录下的/conf目录Add source profile.lsf to /etc/profileif no rshLSF_RSH=ssh2.2.7 启动/停止LSF进程（三种方式）rootS2 conf# lsfstartup/lsfstop或者lsadmin limstatup/limshutdownlsadmin resstartup/resshutdownbadmin hstartup/hshutdown或者lsf_daemons start/stoprootS2 conf# lsidIBM Platform LSF Express 8.3 for IBM Platform HPC, May 10 2012Copyright Platform Computing Inc., an IBM Company, 1992-2012.US Government Users Restricted Rights - Use, duplication or disclosure restricted by GSA ADP Schedule Contract with IBM Corp.My cluster name is platformMy master name is s2You have new mail in /var/spool/mail/rootrootS2 conf# lsloadHOST_NAME status r15s r1m r15m ut pg ls it tmp swp mems2 ok 0.0 0.0 0.0 1% 0.0 1 0 151G 20G 61Gs4 ok 0.0 0.0 0.0 2% 0.0 1 2 183G 20G 62Gs6 ok 0.0 0.0 0.0 3% 0.0 1 2 3734M 2G 30Gs5 ok 0.0 0.0 0.0 5% 0.0 1 2 3468M 2G 30G2.2.8 测试提交作业bsub sleep 1000002.2.9 使能root提交作业enable root to submit job: LSF_ROOT_REX=local重启LSF进程。2.2.10 修改配置文件后reconfig修改lsf.*配置文件后lsadmin reconfig修改lsb.*配置文件后badmin reconfig部分参数需要重启LSF主调度或者其他进程：badmin mbdrestart; lsadmin limrestart; lsadmin resrestart; badmin hrestart2.2.11 日志和debugFind the logs under log directory. LSF will run mainly 3 processes on each node, on master node will have 2 more.Master: lim,res,sbatchd,mbatchd,mbschedCompute:lim,res,sbatchdTurn on debug in command line:Run lim -2 directly on node to check why lim not startup.2.3 配置文件说明目录/etc/init.d: lsf服务自启动脚本目录/apps/platform/8.3/lsf/conf:lsf.conf lsf配置文件 集群配置文件 共享资源定义文件./lsbatch/cluster83/configdir/lsb.* 调度系统配置文件lsb.users lsf用户与用户组配置文件lsb.queues lsf队列配置文件 lsf调度参数配置文件 lsf应用配置文件 lsf机器与机器组配置文件 lsf资源配置文件lsb.modules lsf模块配置文件2.4 常用命令bsub:提交作业；bjobs:查看作业信息；bhist:查看作业历史；lshosts:查看节点静态资源；bhosts，lsload:查看节点状态和资源信息；bqueues ：查看队列配置；blimits：查看限制limit信息；lsid:集群版本和主节点；bmod:修改bsub option；等等。2.5 基于资源的调度策略bsub R “(type=LINUX2.4 & r1m 2.0)|(type=AIX & r1m 1.0)”或者在队列或者文件定义：RES_REQ=select(type=LINUX2.4 & r1m 2.0)|(type=AIX & r1m =300 & mem500 orderswap:mem rusageswap=300,mem=500 job1bsub R rusagemem=500:app_lic_v2=