1大数据时代的大数据时代的数据挖掘与商务智能数据挖掘与商务智能郭崇慧郭崇慧郭崇慧郭崇慧教授教授教授教授guochonghuitsinghua.org.cnguochonghuitsinghua.org.cn大大大大连连理工大学理工大学理工大学理工大学 管理科学与工程学院管理科学与工程学院管理科学与工程学院管理科学与工程学院系系系系统统工程研究所工程研究所工程研究所工程研究所2大大 纲纲n大数据的大数据的时代背景代背景n商商务智能与数据智能与数据科学科学n基于基于统计的的传统数据分析技数据分析技术n数据管理系数据管理系统与与联机分析机分析处理理n数据挖掘与知数据挖掘与知识发现技技术n典型典型应用及案例用及案例分析分析3第二部分第二部分商商务智能与数据智能与数据科学科学4商务智能概论商务智能概论n什么是商什么是商务智能？智能？n数据、信息、知数据、信息、知识n管理、信息与决策管理、信息与决策n决策支持系决策支持系统5什么是商务智能？什么是商务智能？n商商商商务务智能智能智能智能(BI)(BI)(BI)(BI)定定定定义义众众众众说纷纭说纷纭。n n高高高高级级管理人管理人管理人管理人员员信息系信息系信息系信息系统统（EIS)EIS)EIS)EIS)n n管理信息系管理信息系管理信息系管理信息系统统（MISMISMISMIS），决策支持系），决策支持系），决策支持系），决策支持系统统（DSSDSSDSSDSS）n n数据数据数据数据库库技技技技术术，数据，数据，数据，数据仓库仓库( ( ( (数据集市数据集市数据集市数据集市) ) ) )n n数据整合与清洗工具数据整合与清洗工具数据整合与清洗工具数据整合与清洗工具n n查询查询和和和和报报告工具告工具告工具告工具, , , ,在在在在线线分析分析分析分析处处理工具理工具理工具理工具(OLAP)(OLAP)(OLAP)(OLAP)n n统计统计数据分析，数据挖掘数据分析，数据挖掘数据分析，数据挖掘数据分析，数据挖掘n n分析性分析性分析性分析性ERPERPERPERP、CRMCRMCRMCRM、SCMSCMSCMSCM。 n n企企企企业绩业绩效管理，平衡效管理，平衡效管理，平衡效管理，平衡记记分卡分卡分卡分卡商业智能商业智能Gartnern商业智能的概念于1996年最早由加特纳集团（Gartner Group）提出，加特纳集团将商业智能定义为：商业智能描述了一系列的概念和方法，通过应用基于事实的支持系统来辅助商业决策的制定。商业智能技术提供使企业迅速分析数据的技术和方法，包括收集、管理和分析数据，将这些数据转化为有用的信息，然后分发到企业各处。67什么是商务智能？什么是商务智能？n商商务智智能能是是企企业利利用用现代代信信息息技技术收收集集、管管理理和和分分析析结构构化化和和非非结构构化化的的商商务数数据据和和信信息息，创造造和和累累计商商务知知识和和见解解，改改善善商商务决决策策水水平平，采采取取有有效效的的商商务行行动，完完善善各各种种商商务流流程程，提提升升各各方方面面商商务绩效，增效，增强综合合竞争力的智慧和能力。争力的智慧和能力。nhttp:/baike.baidu.com/view/557579.htmhttp:/baike.baidu.com/view/557579.htm8企业企业n企企业这里用里用“组织机构机构”或或“实体体”会会显得更完整，因得更完整，因为所有的所有的组织机构和机构和实体（不只是企体（不只是企业）都可以而且）都可以而且应该利利用商用商务智能；之所以仍用智能；之所以仍用“企企业”是是为保持与保持与“商商务”的一致性。各行各的一致性。各行各业，包括非企包括非企业性机构，比如政府部性机构，比如政府部门、教、教育机构、医育机构、医疗机构和公用事机构和公用事业等，都等，都应该而且能而且能够利用商利用商务智能。智能。9现代信息技术现代信息技术n利用现代信息技术利用现代信息技术利用现代信息技术利用现代信息技术这是这一定义中的关键这是这一定义中的关键这是这一定义中的关键这是这一定义中的关键之一，之一，之一，之一，ITITITIT的发展产生了信息经济和信息社会，的发展产生了信息经济和信息社会，的发展产生了信息经济和信息社会，的发展产生了信息经济和信息社会，在这一新型的经济和社会形态中，信息的爆炸在这一新型的经济和社会形态中，信息的爆炸在这一新型的经济和社会形态中，信息的爆炸在这一新型的经济和社会形态中，信息的爆炸式激增又产生了对能够处理和控制信息的新技式激增又产生了对能够处理和控制信息的新技式激增又产生了对能够处理和控制信息的新技式激增又产生了对能够处理和控制信息的新技术的强烈需求；商务智能就是新的术的强烈需求；商务智能就是新的术的强烈需求；商务智能就是新的术的强烈需求；商务智能就是新的ITITITIT在商务分在商务分在商务分在商务分析中的有效利用。析中的有效利用。析中的有效利用。析中的有效利用。nBIBIBIBI过程中所涉及的过程中所涉及的过程中所涉及的过程中所涉及的ITITITIT主要有：从不同的数据源主要有：从不同的数据源主要有：从不同的数据源主要有：从不同的数据源收集的数据中提取有用的数据，对数据进行清收集的数据中提取有用的数据，对数据进行清收集的数据中提取有用的数据，对数据进行清收集的数据中提取有用的数据，对数据进行清理以保证数据的质量，将数据经转换、重构后理以保证数据的质量，将数据经转换、重构后理以保证数据的质量，将数据经转换、重构后理以保证数据的质量，将数据经转换、重构后存入数据仓库或数据集市（这时数据变为信息）存入数据仓库或数据集市（这时数据变为信息）存入数据仓库或数据集市（这时数据变为信息）存入数据仓库或数据集市（这时数据变为信息），然后寻找合适的查询、报告和分析工具和数，然后寻找合适的查询、报告和分析工具和数，然后寻找合适的查询、报告和分析工具和数，然后寻找合适的查询、报告和分析工具和数据挖掘工具对信息进行处理（这时信息变为辅据挖掘工具对信息进行处理（这时信息变为辅据挖掘工具对信息进行处理（这时信息变为辅据挖掘工具对信息进行处理（这时信息变为辅助决策的知识），最后将知识呈现于用户面前，助决策的知识），最后将知识呈现于用户面前，助决策的知识），最后将知识呈现于用户面前，助决策的知识），最后将知识呈现于用户面前，转变为决策。转变为决策。转变为决策。转变为决策。10收集数据收集数据n n收集收集收集收集收集数据是管理和分析数据的前提，数据收集收集数据是管理和分析数据的前提，数据收集收集数据是管理和分析数据的前提，数据收集收集数据是管理和分析数据的前提，数据收集工作是十分重要的，必工作是十分重要的，必工作是十分重要的，必工作是十分重要的，必须须引起企引起企引起企引起企业业的充分重的充分重的充分重的充分重视视，在，在，在，在这这方方方方面中国企面中国企面中国企面中国企业业与世界上与世界上与世界上与世界上发发达国家中的先达国家中的先达国家中的先达国家中的先进进企企企企业业之之之之间间的差距的差距的差距的差距非常大，非常大，非常大，非常大，这这是商是商是商是商务务智能在中国智能在中国智能在中国智能在中国还还不能很快成熟起来的重不能很快成熟起来的重不能很快成熟起来的重不能很快成熟起来的重要原因之一，要原因之一，要原因之一，要原因之一， 这应这应了中国的一句俗了中国的一句俗了中国的一句俗了中国的一句俗话话：“巧巧巧巧妇难为妇难为无无无无米之炊米之炊米之炊米之炊”。n n数据和信息的收集主要是通数据和信息的收集主要是通数据和信息的收集主要是通数据和信息的收集主要是通过过各种交易系各种交易系各种交易系各种交易系统进统进行的，比行的，比行的，比行的，比如如如如ERPERP、CRMCRM、SCMSCM和和和和E-BusinessE-Business等系等系等系等系统统。随着中国企。随着中国企。随着中国企。随着中国企业业在在在在这这些方面的些方面的些方面的些方面的进进步，数据和信息的数量会快速增步，数据和信息的数量会快速增步，数据和信息的数量会快速增步，数据和信息的数量会快速增长长的。的。的。的。另外，信息，特另外，信息，特另外，信息，特另外，信息，特别别是非是非是非是非结结构化的信息，来自公司各个部构化的信息，来自公司各个部构化的信息，来自公司各个部构化的信息，来自公司各个部门门和各个和各个和各个和各个员员工工工工创创造和收集的、没有放在上述交易系造和收集的、没有放在上述交易系造和收集的、没有放在上述交易系造和收集的、没有放在上述交易系统统中中中中的内容。第三方也是企的内容。第三方也是企的内容。第三方也是企的内容。第三方也是企业业收集数据和信息的一个重要来收集数据和信息的一个重要来收集数据和信息的一个重要来收集数据和信息的一个重要来源，源，源，源，这样这样的外部数据和信息包括市的外部数据和信息包括市的外部数据和信息包括市的外部数据和信息包括市场调场调研研研研报报告、人口告、人口告、人口告、人口统统计报计报告、告、告、告、顾顾客信用客信用客信用客信用报报告等。告等。告等。告等。11管理和分析数据管理和分析数据n管理管理管理管理这这里的里的里的里的“管理管理管理管理”主要是指主要是指主要是指主要是指对对数据的数据的数据的数据的储储存、提取、清洗、存、提取、清洗、存、提取、清洗、存、提取、清洗、转换转换、装、装、装、装载载、整合等工作，、整合等工作，、整合等工作，、整合等工作，其目的主要是其目的主要是其目的主要是其目的主要是为为了提高数据的了提高数据的了提高数据的了提高数据的质质量和安全性。量和安全性。量和安全性。量和安全性。n分析分析分析分析“分析分析分析分析”是一个广泛的概念，是一个广泛的概念，是一个广泛的概念，是一个广泛的概念，这这里包括里包括里包括里包括数据数据数据数据查询查询、数据、数据、数据、数据报报告、多告、多告、多告、多维维分析、数据挖掘、分析、数据挖掘、分析、数据挖掘、分析、数据挖掘、高高高高级统计级统计分析等。大多数人理解的商分析等。大多数人理解的商分析等。大多数人理解的商分析等。大多数人理解的商务务智能都智能都智能都智能都集中在集中在集中在集中在这这些分析工具上。些分析工具上。些分析工具上。些分析工具上。12结构化与非结构化数据结构化与非结构化数据n结结构化构化构化构化结结构化的数据主要是指构化的数据主要是指构化的数据主要是指构化的数据主要是指储储存于各个存于各个存于各个存于各个交易系交易系交易系交易系统统背后的关系型数据背后的关系型数据背后的关系型数据背后的关系型数据库库中的数据，通常中的数据，通常中的数据，通常中的数据，通常都是以表格的形式存在和展都是以表格的形式存在和展都是以表格的形式存在和展都是以表格的形式存在和展现现的。的。的。的。传统传统的商的商的商的商务务智能概念只包括智能概念只包括智能概念只包括智能概念只包括这这种种种种结结构化的、可定量的数据。构化的、可定量的数据。构化的、可定量的数据。构化的、可定量的数据。n非非非非结结构化的构化的构化的构化的非非非非结结构化的数据和信息主要是构化的数据和信息主要是构化的数据和信息主要是构化的数据和信息主要是上面的提到的各个部上面的提到的各个部上面的提到的各个部上面的提到的各个部门门和各个和各个和各个和各个员员工工工工创创造和收集造和收集造和收集造和收集的、没有放在各种交易系的、没有放在各种交易系的、没有放在各种交易系的、没有放在各种交易系统统中的内容，通常是中的内容，通常是中的内容，通常是中的内容，通常是以零散的文件形式存在和展以零散的文件形式存在和展以零散的文件形式存在和展以零散的文件形式存在和展现现的；新的商的；新的商的；新的商的；新的商务务智智智智能概念能概念能概念能概念纳纳入了非入了非入了非入了非结结构化内容的分析，但是非机构化内容的分析，但是非机构化内容的分析，但是非机构化内容的分析，但是非机构化的内容的管理仍然主要是通构化的内容的管理仍然主要是通构化的内容的管理仍然主要是通构化的内容的管理仍然主要是通过过文件管理和文件管理和文件管理和文件管理和内容管理（内容管理（内容管理（内容管理（Document Management & Document Management & Content ManagementContent Management）软软件来件来件来件来进进行的。行的。行的。行的。13商务数据和信息商务数据和信息 n商商务数据和信息并不能加以狭隘的理解，数据和信息并不能加以狭隘的理解，这里所致的商里所致的商务数据和信息包括一切可数据和信息包括一切可能能对商商务产生影响的、直接和生影响的、直接和间接的数接的数据和信息，往小里据和信息，往小里说包括包括顾客的名字、客的名字、地址和地址和电话号号码等，往大里等，往大里说包括包括过国国际上的政治、上的政治、经济、文化和、文化和军事情况等。事情况等。14商务智能的目的商务智能的目的n创造和累造和累计商商务知知识和和见解解这是商是商务智能的第一智能的第一层的目的和功能，的目的和功能， 也是最直也是最直接的目的和功能；接的目的和功能；“知知识和和见解解”正是正是“智能智能”得名的由来。得名的由来。n改善商改善商务决策水平决策水平这是商是商务智能的更智能的更高一高一层的目的和功能，企的目的和功能，企业能否利用好能否利用好这一功能、一功能、实现这一目的在很大程度上一目的在很大程度上取决于取决于领导者的意者的意识和胸襟以及企和胸襟以及企业文文化中决策科学化和民主化的成分。化中决策科学化和民主化的成分。15商务行动与商务流程商务行动与商务流程n采取有效的商采取有效的商采取有效的商采取有效的商务务行行行行动动采取有效的商采取有效的商采取有效的商采取有效的商务务行行行行动动是是是是创创造和累造和累造和累造和累计计商商商商务务知知知知识识和和和和见见解、改善商解、改善商解、改善商解、改善商务务决策决策决策决策水平的目的和水平的目的和水平的目的和水平的目的和动动力。商力。商力。商力。商务务智能是能智能是能智能是能智能是能够够指指指指导实战导实战的高明兵法，而不是的高明兵法，而不是的高明兵法，而不是的高明兵法，而不是“无所不知、但无能无所不知、但无能无所不知、但无能无所不知、但无能为为力力力力”的的的的“纸纸上上上上谈谈兵兵兵兵”。n完善各种商完善各种商完善各种商完善各种商务务流程流程流程流程残缺、散乱、僵化、低残缺、散乱、僵化、低残缺、散乱、僵化、低残缺、散乱、僵化、低效的商效的商效的商效的商务务流程是企流程是企流程是企流程是企业业的的的的顽顽疾，商疾，商疾，商疾，商务务智能能智能能智能能智能能够为够为这这一一一一顽顽疾的疾的疾的疾的诊诊断和治断和治断和治断和治疗疗做出一定的做出一定的做出一定的做出一定的贡贡献；献；献；献； 优优化后自化后自化后自化后自动动化（化（化（化（请请注意先后注意先后注意先后注意先后顺顺序）的商序）的商序）的商序）的商务务流程反流程反流程反流程反过过来也会促来也会促来也会促来也会促进进商商商商务务智能的智能的智能的智能的发发展。展。展。展。16商务绩效商务绩效n提升各方面商提升各方面商务绩效效这是商是商务智能在智能在企企业内部的最高目的和作用，有效的商内部的最高目的和作用，有效的商务智能系智能系统和技和技术能能够帮助企帮助企业提升各提升各个方面的个方面的绩效：效：财务的和非的和非财务的，前的，前台的和后台的，企台的和后台的，企业内的和供内的和供应链内的，内的，组织的和个人的。企的和个人的。企业绩效管理已成效管理已成为热门的管理和技的管理和技术概念，概念，这既是因既是因为各各种种软件厂商的推件厂商的推动又是因又是因为企企业所面所面临的的绩效方面的效方面的压力的增大。力的增大。17综合竞争力综合竞争力n增增增增强综强综合合合合竞竞争力争力争力争力这这是商是商是商是商务务智能在企智能在企智能在企智能在企业业中的中的中的中的最高目的和作用。商最高目的和作用。商最高目的和作用。商最高目的和作用。商务务智能事关企智能事关企智能事关企智能事关企业业的的的的兴兴衰成衰成衰成衰成败败和生死存亡。如今以及未来企和生死存亡。如今以及未来企和生死存亡。如今以及未来企和生死存亡。如今以及未来企业业之之之之间间的的的的竞竞争争争争是主要是是主要是是主要是是主要是综综合智能上的合智能上的合智能上的合智能上的竞竞争，不管是中国企争，不管是中国企争，不管是中国企争，不管是中国企业业还还是外国企是外国企是外国企是外国企业业，不管是国，不管是国，不管是国，不管是国营营企企企企业还业还是民是民是民是民营营企企企企业业，不管是大企不管是大企不管是大企不管是大企业还业还是小企是小企是小企是小企业业，都必，都必，都必，都必须须提高企提高企提高企提高企业经业经营营和和和和竞竞争活争活争活争活动动中的智能水平，争取成中的智能水平，争取成中的智能水平，争取成中的智能水平，争取成为优为优秀的秀的秀的秀的智能企智能企智能企智能企业业，否，否，否，否则则一定会落后于智能上高人一等、一定会落后于智能上高人一等、一定会落后于智能上高人一等、一定会落后于智能上高人一等、捷足先登的企捷足先登的企捷足先登的企捷足先登的企业业。n智慧和能力智慧和能力智慧和能力智慧和能力把商把商把商把商务务智能分智能分智能分智能分为为智慧和能力是智慧和能力是智慧和能力是智慧和能力是因因因因为为真正的商真正的商真正的商真正的商务务智能既有思想智能既有思想智能既有思想智能既有思想层层面也有行面也有行面也有行面也有行动层动层面（而且面（而且面（而且面（而且“智能智能智能智能”本身可以一分本身可以一分本身可以一分本身可以一分为为二、二合二、二合二、二合二、二合为为一）。一）。一）。一）。18商务智能软件发展前景商务智能软件发展前景n n根据根据根据根据GartnerGartner公司的公司的公司的公司的报报告，告，告，告，20072007年全球年全球年全球年全球BIBI（商（商（商（商业业智能）智能）智能）智能）软软件市件市件市件市场场份份份份额额达到了达到了达到了达到了5151亿亿美元，比美元，比美元，比美元，比20062006年增加了年增加了年增加了年增加了13%13%。n n最大的最大的最大的最大的赢赢家是那些大的家是那些大的家是那些大的家是那些大的软软件厂商，如件厂商，如件厂商，如件厂商，如SAPSAP、IBMIBM、OracleOracle和和和和MicrosoftMicrosoft，它，它，它，它们总们总的市的市的市的市场场份份份份额额从从从从20062006年的年的年的年的20%20%，增加到，增加到，增加到，增加到20072007年的年的年的年的66%66%。这这种急种急种急种急剧剧增增增增长长主要是通主要是通主要是通主要是通过过并并并并购购来来来来实现实现的。在的。在的。在的。在20072007年年年年1 1月份，月份，月份，月份，SAPSAP收收收收购购了了了了BOBO（Business ObjectBusiness Object），），），），IBMIBM收收收收购购了了了了CognosCognos。在。在。在。在20072007年年年年3 3月份，月份，月份，月份，OracleOracle则则收收收收购购了了了了HyperionHyperion。n n合并之后，合并之后，合并之后，合并之后，SAPSAP和和和和BOBO排名第一，占据了全球排名第一，占据了全球排名第一，占据了全球排名第一，占据了全球26.326.3的的的的BIBI软软件市件市件市件市场场，比第二名（，比第二名（，比第二名（，比第二名（IBMIBM和和和和CognosCognos，市，市，市，市场场份份份份额为额为14.7%14.7%）高出了将近一倍。）高出了将近一倍。）高出了将近一倍。）高出了将近一倍。SASSAS为为第三名，市第三名，市第三名，市第三名，市场场份份份份额为额为14.5%14.5%。下表中的排名与此不同，是因。下表中的排名与此不同，是因。下表中的排名与此不同，是因。下表中的排名与此不同，是因为为有些并有些并有些并有些并购购直到直到直到直到20082008年才最年才最年才最年才最终终完成。完成。完成。完成。19Gartner发布发布商务智能魔力象限商务智能魔力象限 http:/mediaproducts.gartner.com/reprints/oracle/154227.html20Gartner发布发布客户数据挖掘魔力象限客户数据挖掘魔力象限 http:/mediaproducts.gartner.com/reprints/sas/vol5/article3/article3.html21数据、信息与知识数据、信息与知识n每每时每刻，我每刻，我们身身边都充都充满了各种各了各种各样的的数据数据。但只有将。但只有将这些些杂乱无章的数据，乱无章的数据，转换为信息和知信息和知识，才能帮助我，才能帮助我们做出做出聪明的明的选择。n由于数据、信息与知由于数据、信息与知识三者之三者之间有着密有着密切的切的相关性相关性，他，他们常被混淆使用。我常被混淆使用。我们将重点将重点对数据、信息与知数据、信息与知识进行行分析和分析和对比比。 22数据（数据（DataData）n数据泛指数据泛指数据泛指数据泛指对对客客客客观观事物的数量、属性、位置及其事物的数量、属性、位置及其事物的数量、属性、位置及其事物的数量、属性、位置及其相互关系的相互关系的相互关系的相互关系的抽象表示抽象表示抽象表示抽象表示，以适合于用人工或自然，以适合于用人工或自然，以适合于用人工或自然，以适合于用人工或自然的方式的方式的方式的方式进进行行行行保存、保存、保存、保存、传递传递和和和和处处理理理理。n例如，水的温度是例如，水的温度是例如，水的温度是例如，水的温度是100100100100，礼物的重量是，礼物的重量是，礼物的重量是，礼物的重量是500500500500克，克，克，克，木木木木头头的的的的长长度是度是度是度是2 2 2 2米，大楼的高度米，大楼的高度米，大楼的高度米，大楼的高度时时45454545层层。在。在。在。在这这些表述中：些表述中：些表述中：些表述中：100100100100；500500500500克克克克；2 2 2 2米米米米；45454545层层就是数就是数就是数就是数据。据。据。据。n数据的表数据的表数据的表数据的表现现形式是多种多形式是多种多形式是多种多形式是多种多样样的，除了的，除了的，除了的，除了数字数字数字数字，数，数，数，数据据据据还还以以以以图图像、声音、文字像、声音、文字像、声音、文字像、声音、文字等形式表等形式表等形式表等形式表现现出来。出来。出来。出来。23信息（信息（InformationInformation）n信息是指有一定含信息是指有一定含义的、的、经过加工加工处理理的、的、对决策有价决策有价值的数据。的数据。 信息数据信息数据处理理 n信息是信息是有意有意义的数据的数据，是被，是被赋予相关性予相关性和目的性的数据。例如，人口的分布情和目的性的数据。例如，人口的分布情况、降雨量分布情况等。况、降雨量分布情况等。n可以用可以用专门的的信息管理系信息管理系统对各各类信息信息进行管理。信息管理系行管理。信息管理系统的最基本功能的最基本功能就是数据收集和数据就是数据收集和数据处理。理。24知识（知识（KnowledgeKnowledge）n知知知知识识是信息基是信息基是信息基是信息基础础上的又一次升上的又一次升上的又一次升上的又一次升华华，是，是，是，是浓缩浓缩的系的系的系的系统统化了的信息化了的信息化了的信息化了的信息。需要通。需要通。需要通。需要通过过信息，使用信息，使用信息，使用信息，使用归纳归纳、演、演、演、演绎绎的方法得到。知的方法得到。知的方法得到。知的方法得到。知识识只有在只有在只有在只有在经过经过广泛深入地广泛深入地广泛深入地广泛深入地实实践践践践检验检验，被人消化吸收，并成，被人消化吸收，并成，被人消化吸收，并成，被人消化吸收，并成为为了个人的信念了个人的信念了个人的信念了个人的信念和判断取向之后才能成和判断取向之后才能成和判断取向之后才能成和判断取向之后才能成为为知知知知识识。n知知知知识识信息信息信息信息+ + + +理解（理解（理解（理解（understandingunderstandingunderstandingunderstanding）与推理）与推理）与推理）与推理（reasoningreasoningreasoningreasoning）解决）解决）解决）解决问题问题的技能（的技能（的技能（的技能（skillskillskillskill）n决策支持系决策支持系决策支持系决策支持系统统、专专家系家系家系家系统统、案例推理系、案例推理系、案例推理系、案例推理系统统是是是是对对人人人人类类知知知知识识的利用，而智能数据分析是的利用，而智能数据分析是的利用，而智能数据分析是的利用，而智能数据分析是获获得得得得隐隐含含含含在数据信息中的知在数据信息中的知在数据信息中的知在数据信息中的知识识。nOECD 1990s OECD 1990s OECD 1990s OECD 1990s 知知知知识识分分分分类类 3W+H3W+H3W+H3W+H25信息（信息（InformationInformation）知识（）知识（KnowledgeKnowledge）与智慧（与智慧（WisdomWisdom） 26The Data Information The Data Information Knowledge and Wisdom Knowledge and Wisdom Hierarchy (DIKW)Hierarchy (DIKW) 知识是从数据到智慧划分为不同层次的。知识是从数据到智慧划分为不同层次的。27示例示例n 数据数据数据数据：上季度：上季度：上季度：上季度产产品品品品A A A A在在在在华东华东地区地区地区地区销销售售售售额为额为120120120120万。万。万。万。n 信息信息信息信息：上季度：上季度：上季度：上季度产产品品品品A A A A华东华东地区地区地区地区销销售售售售额额比去年同期减比去年同期减比去年同期减比去年同期减少了少了少了少了25 %25 %25 %25 %。n 知知知知识识：如分析原因是：如分析原因是：如分析原因是：如分析原因是华东华东地区地区地区地区销销售售售售单单位不行，或位不行，或位不行，或位不行，或产产品品品品A A A A进进入了衰退期，入了衰退期，入了衰退期，入了衰退期，还还是公司整体是公司整体是公司整体是公司整体营销营销活活活活动动落后，落后，落后，落后，竞竞争者争者争者争者强强力促力促力促力促销导销导致？或是其它原因。致？或是其它原因。致？或是其它原因。致？或是其它原因。针对这针对这一一一一问题问题公司公司公司公司应对应对的策略是什么？的策略是什么？的策略是什么？的策略是什么？n 智慧智慧智慧智慧：应对应对的行的行的行的行动动方案可能有多种，但（方案可能有多种，但（方案可能有多种，但（方案可能有多种，但（战战略）略）略）略）选选择择哪个靠智慧。行哪个靠智慧。行哪个靠智慧。行哪个靠智慧。行动则动则又会又会又会又会产产生新的交易数据。生新的交易数据。生新的交易数据。生新的交易数据。28管理与管理系统管理与管理系统n 管理是管理主体作用于管理客体的活管理是管理主体作用于管理客体的活动过程。程。随着科技的随着科技的发展，管理及管理系展，管理及管理系统的信息化、的信息化、网网络化、智能化已越来越受到人化、智能化已越来越受到人们的广泛关的广泛关注。注。n （信息）管理系（信息）管理系统：数据：数据处理系理系统、检索系索系统、计算机算机辅助系助系统、管理信息系、管理信息系统MISMIS、办公自公自动化系化系统OAOA、决策支持系、决策支持系统DSSDSS、知、知识管管理系理系统KMSKMS等。等。29决策与信息决策与信息n “ “决策决策决策决策” ” 一一一一词词的英的英的英的英语语表述表述表述表述为为decision-makingdecision-makingdecision-makingdecision-making，意，意，意，意思就是作出决定或思就是作出决定或思就是作出决定或思就是作出决定或选择选择。n当今是信息爆炸当今是信息爆炸当今是信息爆炸当今是信息爆炸时时代，重要的不是代，重要的不是代，重要的不是代，重要的不是获获得信息，而在得信息，而在得信息，而在得信息，而在于于于于对对信息的加工和分析，使之信息的加工和分析，使之信息的加工和分析，使之信息的加工和分析，使之对对决策有用。决策有用。决策有用。决策有用。n决策者需要的是决策者需要的是决策者需要的是决策者需要的是对对决策有意决策有意决策有意决策有意义义的新信息，决策者的的新信息，决策者的的新信息，决策者的的新信息，决策者的注意力是一种最宝注意力是一种最宝注意力是一种最宝注意力是一种最宝贵资贵资源，不能无源，不能无源，不能无源，不能无谓谓消耗在大量无消耗在大量无消耗在大量无消耗在大量无关的信息上。关的信息上。关的信息上。关的信息上。n对对信息的提供，就信息的提供，就信息的提供，就信息的提供，就应应当有一定条件的限制，不符合当有一定条件的限制，不符合当有一定条件的限制，不符合当有一定条件的限制，不符合这这些条件的信息，不些条件的信息，不些条件的信息，不些条件的信息，不应该输应该输送送送送给给决策者。所以信息决策者。所以信息决策者。所以信息决策者。所以信息系系系系统应该统应该包括一个包括一个包括一个包括一个筛选筛选系系系系统统，以保，以保，以保，以保证证提供与决策有提供与决策有提供与决策有提供与决策有关的有用信息。关的有用信息。关的有用信息。关的有用信息。 30国民经济和社会的信息化国民经济和社会的信息化社会信息化后，社会的运转是软件的运转社会信息化后，社会的运转是软件的运转社会信息化后，社会的历史是数据的历史社会信息化后，社会的历史是数据的历史因此政府提出因此政府提出“信息化信息化”和和“发展软件产业发展软件产业”31数据分析与挖掘数据分析与挖掘有有有有许许多多多多预测预测机构和名人都看好数据分析技机构和名人都看好数据分析技机构和名人都看好数据分析技机构和名人都看好数据分析技术对术对未来未来未来未来科学技科学技科学技科学技术术的影响，的影响，的影响，的影响，对对市市市市场场所占有的份所占有的份所占有的份所占有的份额额有有有有乐观乐观的估的估的估的估计计。世界有名的世界有名的世界有名的世界有名的Gartner GroupGartner GroupGartner GroupGartner Group咨咨咨咨询询公司公司公司公司预计预计：不久的将：不久的将：不久的将：不久的将来先来先来先来先进进大型企大型企大型企大型企业业会会会会设设置置置置“统统一数据分析一数据分析一数据分析一数据分析专专家家家家”, , , , 数数数数据分析的据分析的据分析的据分析的应应用一定会用一定会用一定会用一定会扩扩展开来！展开来！展开来！展开来！微微微微软专软专家也家也家也家也认为认为数据分析与挖掘会成数据分析与挖掘会成数据分析与挖掘会成数据分析与挖掘会成为为21212121世世世世纪纪的重的重的重的重要技要技要技要技术术之一，也有研究小之一，也有研究小之一，也有研究小之一，也有研究小组组。在微。在微。在微。在微软亚软亚洲研究院洲研究院洲研究院洲研究院（http:/research.microsoft.com/asia/http:/research.microsoft.com/asia/http:/research.microsoft.com/asia/http:/research.microsoft.com/asia/）有相）有相）有相）有相应应的研究，有多个研究小的研究，有多个研究小的研究，有多个研究小的研究，有多个研究小组组与数据分析有关。与数据分析有关。与数据分析有关。与数据分析有关。32数据分析与挖掘概况数据分析与挖掘概况一些技术的发展也需要数据分析技术。一些技术的发展也需要数据分析技术。一些技术的发展也需要数据分析技术。一些技术的发展也需要数据分析技术。n n ERP(ERP(ERP(ERP(企业资源计划企业资源计划) ), SCM(, SCM(, SCM(, SCM(物流与供应链管理物流与供应链管理), ), n CRM( CRM(客户关系管理客户关系管理) )，BIBI（商务智能），（商务智能），n 数据库，数据库， 数据仓库，知识管理数据仓库，知识管理 n 决策支持系统新的发展。决策支持系统新的发展。n 数据的大量积累，需求的多样性数据的大量积累，需求的多样性而发展起来。而发展起来。33数据分析与挖掘概况数据分析与挖掘概况数据分析与挖掘数据分析与挖掘数据库越来越大数据库越来越大有价值的知识有价值的知识可怕的数据可怕的数据34数据分析与挖掘概况数据爆炸，知识贫乏数据爆炸，知识贫乏 苦恼: 淹没在数据中 ; 不能制定合适的决策! 数据数据数据数据知识知识决策决策n模式模式n趋势趋势n事实事实n关系关系n模型模型n关联规则关联规则n序列序列n目标市场目标市场n资金分配资金分配n贸易选择贸易选择n在哪儿做广告在哪儿做广告n销售的地理位置销售的地理位置n金融金融n经济经济n政府政府n人口统计人口统计n生命周期生命周期35应用需求应用需求n科学科学领域域n生物医学数据生物医学数据生物医学数据生物医学数据 & DNA& DNA& DNA& DNA数据分析数据分析数据分析数据分析n空空空空间间数据分析数据分析数据分析数据分析 (GIS, GPS, (GIS, GPS, (GIS, GPS, (GIS, GPS, 遥感系遥感系遥感系遥感系统统) ) ) )n商商业领域域n经济经济 & & & & 金融数据分析金融数据分析金融数据分析金融数据分析n零售零售零售零售业业数据分析数据分析数据分析数据分析n电电信信信信业业数据分析数据分析数据分析数据分析nWWWWWWWWWWWW数据分析数据分析数据分析数据分析Necessity is the mother of invention（Plato）36现代数据分析的特点现代数据分析的特点n最大的特点：海量数据集（大数据）最大的特点：海量数据集（大数据）美国零售商沃美国零售商沃美国零售商沃美国零售商沃尔玛尔玛每天大每天大每天大每天大约约2 2千万笔的交易，一年千万笔的交易，一年千万笔的交易，一年千万笔的交易，一年的客的客的客的客户户交易数据交易数据交易数据交易数据库库容量超容量超容量超容量超过过11TB11TBAT&TAT&TAT&TAT&T公司，公司，公司，公司，1 1 1 1亿电话亿电话用用用用户户，每天，每天，每天，每天3 3 3 3亿亿次的呼叫特征数次的呼叫特征数次的呼叫特征数次的呼叫特征数据据据据美国宇航局美国宇航局美国宇航局美国宇航局NASANASANASANASA的地球的地球的地球的地球观测观测系系系系统统每小每小每小每小时时生成几个生成几个生成几个生成几个GBGBGBGB的原始数据的原始数据的原始数据的原始数据人人人人类类基因工程中超基因工程中超基因工程中超基因工程中超过过3.33.33.33.3101010109 9 9 9个核苷酸的数据个核苷酸的数据个核苷酸的数据个核苷酸的数据库库n其它特点：其它特点：其它特点：其它特点：较较高高高高维维度，有噪声，属性度，有噪声，属性度，有噪声，属性度，有噪声，属性值值缺失缺失缺失缺失37技术驱动技术驱动 更大更大更大更大, , , ,更便宜的存更便宜的存更便宜的存更便宜的存储储器器器器 - - - - 磁磁磁磁盘盘密度以密度以密度以密度以MooreMooreMooreMoore s laws laws laws law增增增增长长 “ “每每每每18181818个月增个月增个月增个月增长长一倍一倍一倍一倍” ” - - - - 存存存存储储器价格器价格器价格器价格飞飞快下降快下降快下降快下降下降更快下降更快下降更快下降更快, , , ,更便宜的信息更便宜的信息更便宜的信息更便宜的信息处处理器理器理器理器 - - - - 分析更多的数据分析更多的数据分析更多的数据分析更多的数据 - - - - 适适适适应应更多复更多复更多复更多复杂杂的模型的模型的模型的模型 - - - - 引起更多引起更多引起更多引起更多查询查询技技技技术术 - - - - 激起更激起更激起更激起更强强的可的可的可的可视视化技化技化技化技术术 数据数据数据数据处处理与分析技理与分析技理与分析技理与分析技术术 - - - - 数据数据数据数据库库与数据与数据与数据与数据仓库仓库 - - - - 统计统计学学学学 - - - - 人工智能人工智能人工智能人工智能 - - - - 机器学机器学机器学机器学习习38智能数据分析（智能数据分析（1 1） Intelligent data Intelligent data analysis has its analysis has its origins in various origins in various disciplines.disciplines. StstisticsStstistics and and machine learningmachine learning is is the most important the most important two two disciplines.disciplines.（20032003）39智能数据分析（智能数据分析（2 2） 智能数据分析是智能数据分析是指利用指利用人工智能人工智能的方法的方法对数据数据进行行分析分析，力，力图从从海量数据中挖掘海量数据中挖掘出有用的出有用的信息信息，获取所需的取所需的知知识。（20072007）40智能数据分析（智能数据分析（3 3）n智能数据分析技智能数据分析技智能数据分析技智能数据分析技术术是多种学科的交叉的是多种学科的交叉的是多种学科的交叉的是多种学科的交叉的产产物。物。物。物。它是商它是商它是商它是商业业（企（企（企（企业业）竞竞争需求和技争需求和技争需求和技争需求和技术发术发展推展推展推展推动动的的的的结结果。果。果。果。n个人个人个人个人观观点：点：点：点：商务智能商务智能智能数据分析智能数据分析统计学统计学数据分析数据分析机器学习机器学习数据挖掘数据挖掘数学数学计算机科学计算机科学人工智能人工智能数据库数据库数据仓库数据仓库信息管理信息管理知识管理知识管理数据科学的构成数据科学的构成41n计算机技巧计算机技巧n数学和统计数学和统计知识知识n实质性的专实质性的专业知识业知识42数据科学家的能力数据科学家的能力n计算机能力：数据算机能力：数据的的获取和整理取和整理n数学和数学和统计学能力：学能力：数据的挖掘数据的挖掘n图形可形可视化：数据化：数据的提的提炼和展和展现4344谢 谢 ！