上海交通大学硕士学位论文BP神经网络在证券公司数据挖掘及预测中的应用及相关算法的 探索姓名：杨超申请学位级别：硕士专业：软件工程指导教师：黄上腾200806011 BP 神经网络在证券公司数据挖掘及预测中的应用 及相关算法的探索 摘摘 要要 随着国内金融业的改革和发展，特别是中国加入 WTO 以后，为了提高自身的竞争力，国内金融企业都开始加速建立和完善自己的管理系统。对于处于高端服务性行业的金融行业，潜在和未知的风险将给企业、行业乃至社会金融体系带来巨大的冲击，如何评估风险已然成为迫切的需求。 对于金融企业而言，数据挖掘技术、风险评估模型及其应用系统可以帮助发现业务趋势，揭示已知事实，预测未知结果，以达到增加收入、降低成本、回避风险，使企业处于更有利的竞争位置的目的。 本论文在对 BP 神经网络在数据挖掘和风险预警方面充分研究后，提出提前对公司进行财务危机预警的方案。国外财务危机研究集中于公司破产预测，国内缺少这方面的数据。本文着首先眼于中国证券市场存在的 ST 制度，即连续两年亏损的公司将被特殊处理以警示退市风险,因而提前利用上市公司财务报表数据进行财务危机预警研究具有实用性。 其次，应用了 Ruck 的提出的人工神经网络类器建立了 BP 人工神经网络模型。此模型输出公司2 年后财务危机正常和财务危机的概率，通过比较两个概率确定 2 年后公司的财务状况。 最后，通过 1998 年到 2002 年间上市公司的财务数据，证明了 BP 人工神经网络模型的有效性。对财务正常公司预测的准确率达到 82，对陷入财务危机的公司预测的准确率达到 78%。实验中研究了训练集合中正常公司和陷入财务危机公司在数目和行业上搭配问题，如何避免 BP 人工神经网络过度拟和，中间隐层神经单元数目对预测准确率的影响等。 关键词关键词 数据挖掘、财务危机预警，ST 制度，BP 人工神经网络，分类器 1 THE APPLICATION OF BP NEURAL NETWORKIN DATA EXPLORATION AND FORECASTING SECURITIES CORPORATIONS ABSTRACT With the development and reform of finance industry in China, especially after the entering of WTO, more and more finance corporations speed the pace of establish a professional management system in order to take advantage in competition. How to evaluate potential and unknown crisis is becoming a critical topic in this sophistical service industry in term of the corporation, industry and community financial system. Data explore, crisis evaluation model and application can greatly contribute to the finance corporations to forecast business trend, study factors and predict unknowns to increase income, reduce cost, avoid crisis so that to take the leading position in the market. In this paper we study the application of BP neural network in data explores and crisis forecast, bring the solution of establish an early warning system ahead of crisis. While research abroad focuses on the forecasting of bankruptcy, there is no sufficient material or data available in China. We study one of the useful regulations ST (Special Treatment Scheme) in China security market, which is to forecast such financial crisis among enterprises, mark the company losing money in a row of two years to remind investors the risk that the company may be unlisted., which could protect rights of investors and banker, prevent disaster for executives and help the administrators monitor potential risks. Based on the finding from Ruck, we set up a model of BP neural network, which outputs the probabilities of sound condition and financial crisis in ahead of two years and determinant the financial statement by the comparison of the two probabilities. Finally, using the financial statements of Chinas listed companies between 1998 and 2002, we proved that the improved way can effectively predict the financial crisis, attaining the accuracy of 82% on normal companies and 78% on special treated companies. We study how to allocate the data of ST and NST companies in Training set in number and industries, how to prevent over-learning in BP neutral network and the effects of number of nodes in hidden layer. KEY WORDS: data explore, financial crisis, ST (Special Treatment Scheme), BP neutral network, division 上海交通大学上海交通大学 学位论文原创性声明学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进行研究工作所取得的成果。除文中已经注明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的作品成果。 对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。 学位论文作者签名：杨超 日期： 年 月 日 上海交通大学上海交通大学 学位论文版权使用授权书学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并向国家有关部门或机构送交论文的复印件和电子版， 允许论文被查阅和借阅。 本人授权上海交通大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 保密，在 年解密后适用本授权书。 本学位论文属于 不保密。 （请在以上方框内打“”） 学位论文作者签名： 杨超 指导教师签名：黄上腾 日期： 年 月 日 日期： 年 月 日 上海交通大学工程硕士学位论文 BP神经网络在证券公司数据挖掘及预测中的应用及相关算法的探索 1 1 引引 言言 1.1 背景背景 随着国内金融业的改革和发展，特别是中国加入世贸组织以后，为了提高自身的竞争力，国内金融企业都开始加速建立和完善自己的管理系统。对于处于服务性行业的金融行业，面对大量的消费者，如何为不同个体的消费者提供个性化的服务是企业必须面临的问题，而在金融“数据大集中“的管理模式下，如何从海量的用户、市场数据中挖掘出高附加值的决策支持的信息，为企业经营决策者精确提供对商业战役、销售分析、客户兴趣、客户构成及客户忠诚度分析，更为企业决策层和战略规划层所高度关注。 对于金融企业而言，通过数据挖掘进行风险预测可以帮助发现业务趋势，揭示已知事实，预测未知结果，并帮助企业分析完成任务所需关键因素。目前，金融行业在进行信息化建设的同时，已经充分认识和相继采用数据挖掘技术，采用客户关系管理、商业智能、企业竞争情报、风险预估系统等一系列实用系统，提高数据管理水平和加强信息资源的充分利用。 本论文对多家中国证券市场上市公司特别处理制度进行了研究，提出提前对公司进行财务危机预警的方案。国外财务危机研究集中于公司破产预测，国内缺少这方面的数据。中国证券市场存在上市公司特别处理制度，连续两年亏损的公司将被特殊处理以警示退市风险。所以提前利用上市公司财务报表数据进行财务危机预警研究具有实用性。 随着中国市场经济的发展，银行、企业、监管部门都面临着如何防范和控制经济风险的问题。财务危机预警对于市场经济中各个层面的参与者都有着重大意义。 1.2 本论文的工作与贡献本论文的工作与贡献 本论文在对 BP 神经网络在数据挖掘和风险预警方面充分研究后，又对中国证券市场上市公司特别处理制度进行了研究，提出提前 2 年对公司进行财务危机预警的方案。国外财务危机研究集中于公司破产预测，国内缺少这方面的数据。中国证券市场存在上市公司特别处理制度，连续两年亏损的公司将被特殊处理以警示退市风险。所以提前 2 年利用上市公司财务报表数据进行财务危机预警研究具有实用性。 其次，应用了 Ruck 的提出的人工神经网络分类器建立了 BP 人工神经网络模型。此模型输出公司 2 年后财务危机正常和财务危机的概率，通过比较两个概率确定 2 年后公司的财务状况。 最后，通过 1998 年到 2002 年间上市公司的财务数据，证明了 BP 人工神经网络模型的有效性。对财务正常公司预测的准确率达到 82，对陷入财务危机的公司预测的准确率达到 78%。实验中研究了训练集合中正常公司和陷入财务危机公司在数目和行业上搭配问题，如何避免 BP 人工神经网络过度拟和，中间隐层神经单元数目对预测准确率的影响等。 1.3 本论文的内容结构本论文的内容结构 本论文的其余部分内容安排如下：第二章人工神经网络技术与数据挖掘知识的研究。第三章介上海交通大学工程硕士学位论文 BP神经网络在证券公司数据挖掘及预测中的应用及相关算法的探索 2 绍财务风险预警上的关键问题。第四章介绍人工神经网络技术在财务风险预警上应用。第五章是实际应用 BP 神经网络对财务风险预警的实验过程。 上海交通大学工程硕士学位论