超大彩信业务平台应急指导书中国电信系统集成有限责任公司内蒙古分公司2010年08月目 录目 录2第1章 目的3第2章 使用对象3第3章 适用场合3第4章 应急处理流程说明34.1 紧急情况界定34.2 应急措施及应急流程3第5章 常见故障及应急处理篇35.1 硬件故障篇35.1.1 电源故障35.1.2 防火墙、交换机故障35.1.3 路由器故障45.1.4 超级彩信平台服务器硬件故障45.2 软件故障篇45.2.1 超级彩信平台程序软件故障45.2.2 超级彩信平台数据库软件故障4第6章 预警处理篇46.1 CPU过负荷预警处理46.2 内存预警处理46.3 磁盘空间预警处理46.4 超级彩信平台程序故障预警处理46.5 超级彩信平台数据库故障预警处理4第7章 应急资源配备4第1章 目的为保证公司业务的正常运行，避免和减少公司各服务器出现严重问题，在出现问题时能根据本方案及以前的备份资料迅速及时恢复系统的正常运行；保证公司数据的完整性，并可随时恢复；减少故障对公司的损失。为了规范项目，便于维护人员在紧急情况下对硬件及软件的常见问题做出及时的判断和分析，特编写业务平台的应急预案书。第2章 使用对象项目维护人员第3章 适用场合网络安全漏洞造成数据被恶意攻击破坏，未采用容灾方案，数据在外界灾害中被破坏，用户硬件故障造成的数据损失，电力实效。第4章 应急处理流程说明4.1 紧急情况界定发生电力故障时第一时间保证重要服务器、路由器及交换机的电源，关掉业务不是很重要的服务器，这样可以在断电时保证网络的基本运行，确保各分公司正常连接办公网、相关业务系统基本不受影响。并询问人事部故障处理时间，如果断电时间超出UPS使用时间，可通知各部UPS电源可待机时间。在UPS电源只够支撑半个小时的时候，电话通知各部做好文档保存工作，一线营业部门做好手工记帐准备，服务将在15分钟后中断。确定各部做好保存工作后将各组服务器关机，等待电力恢复。电力恢复后，将各服务器和网络设备开机，检查各组服务器和网络运行情况，发现故障及时跟进处理，确认运行正常后，电话各部通知服务已恢复正常运行。恢复后将结果报知部门经理并做好相关记录。4.2 应急措施及应急流程硬件故障应急流程：当发生硬件故障时第一时间分析故障原因,用排除法找到故障原因.如果是内存、硬盘、电源故障可及时使用备用零件替换.如果是CPU、主板可用备用服务器顶替，以确保服务不中断。如果当值人员无法排除故障，可向本部同事请求技术支持并向本部经理汇报情况，由经理统一协调。发生故障同时电话通知相关业务部门，告知故障原因、处理时间，故障处理结束后电话通知使用部门和部门经理告知处理结果。并将处理结果在服务器重大事件处理登记表做好记录。软件故障应急流程：当发生软件故障时第一时间分析故障原因,当系统出现崩溃时，可通过系统GHOST备份还原系统。（系统GHOST在本机与文件服务器都做了备份）。当系统中病毒时，可进入安全模式查杀病毒和木马,安全模式无法进入的话可将硬盘外挂到另一台电脑进行查杀。当服务器数据库损坏后，可及时通过SQL恢复本机的备份数据。（数据库在本机与磁带机都有备份）。如果当值人员无法排除故障，可向本部同事请求技术支持并向本部经理汇报情况，由经理统一协调。发生故障同时电话通知相关业务部门，告知故障原因、处理时间，故障处理结束后电话通知使用部门和部门经理告知处理结果。并将处理结果在服务器重大事件处理登记表做好记录。人为及自然损坏应急方案：当发生人为及自然损坏时，第一时间通知部门经理由经理统一协调，发生服务器被盗和暴力破坏服务器时，可选择报警，追究破坏者刑事责任，从其它公司部门借调服务器，重新恢复相关数据。当发生数据被盗时，查看监控录像或服务器日志。报警追究刑事责任。发生不可抗力服务器自然损坏时, 从其它公司部门借调服务器，重新恢复相关数据。并将处理结果在服务器重大事件处理登记表做好记录。第5章 常见故障及应急处理篇本篇主要介绍在日常维护及应急处理中的一些常见硬件及软件故障，指导相关超大彩信平台维护人员掌握日常应急处理方法及流程。5.1 硬件故障篇本篇主要介绍在日常维护及应急处理中的一些常见硬件故障，指导相关超大彩信平台维护人员掌握日常应急处理方法及流程。5.1.1 电源故障电源指示灯报警，正常状态为绿色，报警状态为红色，建议联系供应商更换电源。5.1.2 防火墙、交换机故障防火墙、交换机故障会导致与各个外部实体网源连接中断，同时，也会导致超大彩信平台数据库与业务进程之间的通讯中断，导致程序异常，业务全阻。5.1.3 路由器故障5.1.4 超大彩信平台服务器硬件故障5.1.4.1服务器故障常见问题安全第一 为您和您的系统着想小心： 许多维修工作只能由获得认证的服务技术人员来完成。您只应按照产品文档中的授权或按照在线或电话服务与支持团队的指导，执行故障排除和简单的维修工作。由于未经 Dell 授权的维修所造成的损坏不包括在保修范围内。请阅读并按照产品附带的安全说明进行操作。系统启动失败故障排除在启动过程中，如果系统在出现视频图像或 LCD 消息之前停机，尤其是在安装操作系统或重新配置系统硬件之后发生这种故障，请检查下列情况。在 UEFI 引导模式下安装操作系统之后，如果采用 BIOS 引导模式引导系统，系统便会挂起。反之亦然。您必须引导至您在安装操作系统时所采用的引导模式。请参阅使用系统设置程序和 UEFI 引导管理器。无效的内存配置可能导致系统启动时停机，并且无任何视频输出。请参阅系统内存。有关其它所有启动问题，请留意 LCD 面板消息和屏幕上显示的任何系统消息。有关详情，请参阅LCD 状态信息和系统信息。外部连接故障排除对任何外部设备进行故障排除之前，请确保所有外部电缆均已牢固地连接至系统上的外部连接器。有关系统上的前面板连接器和背面板连接器的信息，请参阅图1-2 和图1-5。视频子系统故障排除 检查显示器与系统和电源的连接。检查系统到显示器之间的视频接口连线。如果系统连接了两台显示器，请断开其中一台的连接。系统仅支持将一台显示器连接到前面板或背面板视频连接器。请尝试使用已知可正常工作的显示器。运行相应的联机诊断检测程序。请参阅使用 Dell PowerEdge Diagnostics。如果检测程序运行成功，则问题与视频硬件无关。如果检测程序运行失败，请参阅获得帮助。USB 设备故障排除使用下列步骤对 USB 键盘和/或鼠标进行故障排除。对于其它 USB 设备，请转至步驟 2。从系统中暂时拆除键盘和鼠标电缆，然后再重新连接。将键盘/鼠标连接至系统另一面的 USB 端口。如果问题得以解决，请重新启动系统，进入系统设置程序，检查是否已启用不工作的 USB 端口。将此键盘/鼠标更换为其它可正常工作的键盘/鼠标。如果问题得以解决，请更换有故障的键盘/鼠标。如果问题仍然存在，请继续执行下一步骤，开始对与系统相连的其它 USB 设备进行故障排除。关闭所有连接的 USB 设备，断开它们与系统的连接。重新启动系统，如果键盘正常工作，则进入系统设置程序。验证是否启用了所有 USB 端口。请参阅Integrated Devices（集成设备）屏幕。如果键盘不能正常工作，还可以使用远程访问。重新连接，每次打开一个 USB 设备的电源。如果某一设备造成同一问题，请关闭该设备的电源，更换 USB 电缆，然后再打开该设备的电源。如果问题仍然存在，请更换此设备。如果所有故障排除均失败，请参阅获得帮助。串行 I/O 设备故障排除关闭系统和所有连接的外围设备，并断开系统与电源插座的连接。将串行接口电缆更换为另一条可正常工作的电缆，并打开系统和串行设备。如果问题得以解决，则请更换接口电缆。关闭系统和串行设备，将该设备更换为同类设备。打开系统和串行设备。如果问题得以解决，请更换串行设备。如果问题仍然存在，请参阅获得帮助。NIC 故障排除运行相应的联机诊断检测程序。请参阅使用 Dell PowerEdge Diagnostics。重新启动系统，并检查与 NIC 控制器相关的任何系统信息。查看 NIC 连接器上的相应指示灯。请参阅NIC 指示灯代码。如果链路指示灯不亮，请检查所有电缆的连接。如果活动指示灯不亮，则网络驱动程序文件可能已损坏或丢失。使用交换机或集线器上的另一个连接器。如果使用的是 NIC 卡而非嵌入式 NIC，请参阅 NIC 卡的说明文件。确保安装了相应的驱动程序并捆绑了协议。请参阅 NIC 的说明文件。进入系统设置程序，并确认已启用 NIC 端口。请参阅Integrated Devices（集成设备）屏幕。确保将网络上的 NIC、集线器和交换机设置为相同数据传输速率和双工。请参阅每个网络设备的说明文件。确保所有网络电缆的类型无误，并且未超出最大长度限制。如果所有故障排除均失败，请参阅获得帮助。受潮系统故障排除小心： 许多维修工作只能由获得认证的服务技术人员来完成。您只应按照产品文档中的授权或按照在线或电话服务与支持团队的指导，执行故障排除和简单的维修工作。由于未经 Dell 授权的维修所造成的损坏不包括在保修范围内。请阅读并按照产品附带的安全说明进行操作。关闭系统和连接的外围设备，并断开系统与电源插座的连接。打开系统护盖。请参阅打开系统。拆除系统上的组件。请参阅安装系统组件。冷却导流罩硬盘驱动器SD 卡USB 存储钥匙NIC 硬件卡锁内部 SD 模块扩充卡和两个扩充卡提升板集成存储控制器iDRAC6 Enterprise 卡电源设备处理器和散热器内存模块风扇支架使系统彻底干燥至少 24 小时。重新安装处理器和散热器、内存模块、电源设备、冷却导流罩和风扇支架。合上系统护盖。请参阅合上系统。将系统重新连接至电源插座，然后开机。如果系统未正常启动，请参阅获得帮助。如果系统正常启动，请关闭系统，然后重新安装步驟 3 中拆下的其余组件。请参阅安装扩充卡。运行相应的联机诊断检测程序。请参阅使用 Dell PowerEdge Diagnostics。如果检测程序运行失败，请参阅获得帮助。受损系统故障排除小心： 许多维修工作只能由获得认证的服务技术人员来完成。您只应按照产品文档中的授权或按照在线或电话服务与支持团队的指导，执行故障排除和简单的维修工作。由于未经 Dell 授权的维修所造成的损坏不包括在保修范围内。请阅读并按照产品附带的安全说明进行操作。关闭系统和连接的外围设备，并断开系统与电源插座的连接。打开系统护盖。请参阅打开系统。确保已正确安装以下组件：扩充卡和两个扩充卡提升板电源设备风扇和冷却导流罩处理器和散热器内存模块硬盘驱动器托盘确保所有电缆均已正确连接。合上系统护盖。请参阅合上系统。运行系统诊断程序中的系统板检测程序。请参阅运行系统诊断程序。如果检测程序运行失败，请参阅获得帮助。系统电池故障排除 通过系统设置程序重新输入时间和日期。请参阅使用系统设置程序和 UEFI 引导管理器。关闭系统并断开系统与电源插座的连接，然后至少等