数据管理与大数据数据管理与大数据1.4 1.4 数据管理与安全：数据管理与安全：思维导图思维导图lwqw400ymhCindycy1/2ezdggwhile(1)Ape1Cry&Ape2Cry密码多了记不住？密码多了记不住？复习3、1000个苹果装入个苹果装入10个箱子，该怎么装？个箱子，该怎么装？2、数据：、数据：结构化、半结构化、非结构化结构化、半结构化、非结构化1、怎么维护数据安全、怎么维护数据安全4、pdf wav zip复习数据库技术数据库技术问题：如何管理生活中的数据？数据库技术数据库技术：基于结构化数据开发的，具有数据独立性、数据可共享等特点。解决数据冗余的问题。解决维护、更新数据时需要大量的人工干预的问题。问题：如何理解书本中关于结构化、半结构化和非结构化数据的描述？(P24)拓展链接拓展链接问题1：经常接到广告推销的电话，他们是怎么知道我们的号码？数据安全数据安全问题2：威胁数据安全的因素有哪些？硬盘驱动器损坏、操作失误、黑客入侵、感染计算机病毒、遭受自然灾害。硬盘驱动器损坏、操作失误、黑客入侵、感染计算机病毒、遭受自然灾害。问题3：如何提高数据本身的安全？(P24)（1）保护存储数据的介质：磁盘阵保护存储数据的介质：磁盘阵列、列、数据备份、异地容灾数据备份、异地容灾（2）提高数据本身的安全：数据加密、数据校验提高数据本身的安全：数据加密、数据校验1.4 1.4 数据管理与安全：数据管理与安全：思维导图思维导图数据与大数据数据与大数据互联网、移动网络、物联网等每天都产生着大量数据，这些数据规模巨大、格式多样，已经很难用传统的方式进行处理。于是，大数据技术应运而生，通过分析、挖掘这些数据，发现其中蕴藏的价值。那么，什么是大数据？大数据之“大”，不仅不仅指规模、速度和种类的特征，还意味着它超出以往常用的数据采集、组织、管理和加超出以往常用的数据采集、组织、管理和加工等软件的处理能力工等软件的处理能力，要求新型集成技术从多元、复杂要求新型集成技术从多元、复杂和巨量规模的数据集里洞察规律和巨量规模的数据集里洞察规律。大数据特征大数据特征(P26)(P26)数据量大就是大数据吗？大数据有四个特征,分别为：数据规模大数据规模大、处理速度快处理速度快、数据类型多数据类型多、价值密度低价值密度低。可以用4个V来概括：数数量量（Volume）、速度速度（Velocity）、多样多样（Variety）、价价值值（Value）大数据思维大数据思维(P27)(P27)1.大数据要分析分析的是全体数据全体数据，而不是抽样数据。2.对于数据不再追求精确性，而是能够接受数据的混杂性接受数据的混杂性。3.不一定强调对事物因果关系的探求，而是更加注重注重它们的相关性相关性。大数据是一场变革，改变的不仅是数据，还有人们的思维大数据对社会的影响大数据对社会的影响(P28)(P28)1.大数据让生活更便让生活更便利利（如：城市热力图）2.大数据让决策更精准让决策更精准（如：利用共享单车产生的大数据，精确地制定更为利民的交通路线图）3.大数据带来新的就业需求新的就业需求（如：系统研发工程师）4.大数据带来新的社会问题新的社会问题（如：个人信息泄露）“我们相信技术可以成为推动生活改变的最大力量，技术本身没有好与坏，他们什么都不想要，一切由我们人来决定，由我们每个人来决定。”1.5 1.5 数据与大数据：思维导图数据与大数据：思维导图1.5.2大数据的特征大数据通常指100 TB（1TB=1024 GB）规模以上的数据量，数据量大是大数据的基本属性。根据国际数据资讯（IDC）公司监测，全球数据量大约每两年就翻一番，预计到2020年，全球将拥有35 ZB 的数据，并且85%以上的数据以非结构化或半结构化的形式存在。一、数据体量大（一、数据体量大（Volume）K K 1KB=1024 Byte1KB=1024 ByteM M（兆）字节（兆）字节1MB=1024 KB1MB=1024 KBG G（吉）字节（吉）字节1GB=1024 MB 1GB=1024 MB T T（太）字节（太）字节1TB=1024 GB1TB=1024 GBP P（拍）字节（拍）字节1PB=1024 TB1PB=1024 TBE E（艾）字节（艾）字节1EB=1024 PB1EB=1024 PBZ Z（泽）字节（泽）字节1ZB=1024 EB1ZB=1024 EBY Y（尧）字节（尧）字节1YB=1024 ZB1YB=1024 ZB1.5.2大数据的特征大数据通常指100 TB（1TB=1024 GB）规模以上的数据量，数据量大是大数据的基本属性。根据国际数据资讯（IDC）公司监测，全球数据量大约每两年就翻一番，预计到2020年，全球将拥有35 ZB 的数据，并且85%以上的数据以非结构化或半结构化的形式存在。一、数据体量大（一、数据体量大（Volume）K K 1KB=1024 Byte1KB=1024 ByteM M（兆）字节（兆）字节1MB=1024 KB1MB=1024 KBG G（吉）字节（吉）字节1GB=1024 MB 1GB=1024 MB T T（太）字节（太）字节1TB=1024 GB1TB=1024 GBP P（拍）字节（拍）字节1PB=1024 TB1PB=1024 TBE E（艾）字节（艾）字节1EB=1024 PB1EB=1024 PBZ Z（泽）字节（泽）字节1ZB=1024 EB1ZB=1024 EBY Y（尧）字节（尧）字节1YB=1024 ZB1YB=1024 ZB1.5.2大数据的特征一、数据体量大（一、数据体量大（Volume）IDC全球数据使用情况及预测全球数据使用情况及预测之所以产生如巨大的数据原因有三点：之所以产生如巨大的数据原因有三点：1.由于互联网络的广泛应用，使用网络的用户、企业、机构增多，数据获取、分享由于互联网络的广泛应用，使用网络的用户、企业、机构增多，数据获取、分享变得相对容易。用户可通过网络非常方便的获取数据，通过有意的分享和无意的点击、变得相对容易。用户可通过网络非常方便的获取数据，通过有意的分享和无意的点击、浏览可快速的提供大量的数据；浏览可快速的提供大量的数据；2.随着各种传感器数据获取能力的大幅度提高，使得人们获取的数据越来越接近原随着各种传感器数据获取能力的大幅度提高，使得人们获取的数据越来越接近原始事物本身，描述同一事物的数据激增；始事物本身，描述同一事物的数据激增；3.由于集成电路的价格降低，使得很多东西都保存了下来。由于集成电路的价格降低，使得很多东西都保存了下来。1.5.2大数据的特征二、速度快二、速度快(Velocity)1.数据产生的速度快。新时代人们从信息的被动接受者变成了主动创造者。数据从生成到消耗，时间窗口非常小，可用于生成决策的时间非常短。1.5.2大数据的特征二、速度快二、速度快(Velocity)2.数据处理的速度快。大数据对处理速度有非常严格的要求，服务器中大量的资源都用于处理和计算数据，很多平台都需要做到实时分析。数据无时无刻不在产生，谁的数据处理速度更快，谁就有优势。1.5.2大数据的特征三、数据类型多（三、数据类型多（Variety)数据种类繁多、复杂多变是大数据的重要特性。随着传感器种类的增多及智能设备、社交网络等的流行，数据种类也变得更加复杂，其包括结构化数据、半结构化数据和非结构化数据。其中，10%是结构化数据，存储在数据库中；90%是非结构化数据，与人类信息密切相关。1.5.2大数据的特征四、价值密度低四、价值密度低(Value)大数据蕴含着巨大的价值，但因其数据量庞大，可能发挥价值的仅是其中非常小的部分，价值密度相对较低。以当前广泛应用的监控视频为例，在连续不，间断的监控过程中，大量的视频数据被存储下来，其中有许多冗余数据。比如某起交通事故的视频画面，有效的部分可能仅仅只需要几秒钟，大量不相关的视频信息会增加获取有效数据的难度。价值密度的高低与数据总量的大小成反比，“提纯”大数据，让其发挥更大的价值，是人们一直在努力的目标。1.5.3大数据思维大数据是一场变革，大数据是一场变革，大数据是一场变革，大数据是一场变革，改变的不仅是数据，还有人们的思维。改变的不仅是数据，还有人们的思维。改变的不仅是数据，还有人们的思维。改变的不仅是数据，还有人们的思维。首先，大数据要分析的是全体数据，而不是抽样数据。以往对于某项研究中的数据，限于技术等因素，人们无法进行全样本分析，往往会随机抽取部分样本进行研究，以此推论全体情况。抽样数据分析的方式效率较高，经常被人们采用，但这种方式取决于抽取样本的随机性，在某些情况下，不同的样本可能会得出截然不同的结论。在大数据时代，人们不仅可以获得研究所需的直接数据，而且还能对与之有关联的所有数据进行分析。分析数据已经不再依赖于采样，从而带来更全面的认识，也能更清楚地发现抽样数据无法揭示的详尽信息。1.5.3大数据思维大数据是一场变革，大数据是一场变革，大数据是一场变革，大数据是一场变革，改变的不仅是数据，还有人们的思维。改变的不仅是数据，还有人们的思维。改变的不仅是数据，还有人们的思维。改变的不仅是数据，还有人们的思维。其次，对于数据不再追求精确性，而是能够接受数据的混杂性。对于传统的数据库，数据有严谨的结构，人们追求数据的准确性，通过各种技术或人工手段，来保证每个数据准确无误。而在大数据处理过程中，数据的来源多种多样，这些数据可以是结构化的、半结构化的，也可以是非结构化的。当数据量大到一定程度时，个别数据的不准确就显得不那么重要。1.5.3大数据思维大数据是一场变革，大数据是一场变革，大数据是一场变革，大数据是一场变革，改变的不仅是数据，还有人们的思维。改变的不仅是数据，还有人们的思维。改变的不仅是数据，还有人们的思维。改变的不仅是数据，还有人们的思维。再次，不一定强调对事物因果关系的探求，而是更加注重它们的相关性。在传统的思维方式中，人们往往执着于现象背后的因果关系，试图通过有限样本数据来剖析其中的内在机理。这种思维方式有一定的局限性，此外，有限的样本数据也无法反映出事物之间的相关关系。在大数据时代，比如电商的个性化推荐，不必知道人们购买某些商品的原因，只要找到商品之间的关联性，就能为客户提供精确的推荐。