大数据安全专题研究Page 2主要内容一、什么是大数据二、大数据的相关技术三、大数据的应用四、大数据安全问题及保护技术五、机遇与挑战Page 3一、什么是大数据n1、大数据的定义n2、大数据的特点n3、大数据结构类型n4、大数据实例n5、大数据发展史Page 4有多大？-数据度量Page 5 1 B = 一个字符或一粒沙子1 KB = 一个句子或几撮沙子1 MB = 一个20 页的幻灯片演示文稿、一本小书或一大汤勺沙子1 GB = 书架上9 米长的书或者整整一鞋盒子的沙子1 TB = 300 小时的优质视频、美国国会图书馆存储容量的十分之一或者一个操场沙箱1 PB = 35 万张数字照片或者一片1.6 公里长的海滩1 EB = 1999 年全世界生成的信息的一半或上海到香港之间的海滩1 ZB = 无法想象，或者几乎全世界所有的海滩之和。Page 6n大数据(big data)，也称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。1、大数据的定义Page 7n 最早将大数据用于IT环境的是知名咨询公司麦肯锡。n麦肯锡称：“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。” “大数据”在物理学、生物学、环境生态学等领域以及军事、金融、通讯等行业存在已有时日，却因为近年来互联网和信息行业的发展而引起人们关注。Page 82、大数据的特点(4v) Volume（大量）、Velocity（高速）、Variety（多样）、Value（价值）。Page 93、大数据的结构类型Page 104、大数据的实例n一分钟我们能干些什么呢？！n一分钟能产生多少数据呢？！ 电子邮件用户发送204,166,677（2亿） 条信息； Google 收到超过2,000,000（200万） 个搜索查询； Facebook 用户分享684,478（68万） 条内容； Twitter 用户发送超过100,000 （10万）条微博； 苹果公司收到大约47,000 （5万）个应用下载； 571 个新网站诞生。Page 115、大数据发展史IT科技浪潮Page 12n我们周围到处都是数字信息。（无线电波、电话电路、计算机电缆）n三种主要的模拟/数字转换为数据增长提供了动力：用胶片拍摄影像转换为数字拍摄影像、模拟语音转换成为了数字语音、模拟电视转换成为数字电视。n2007年是人类创造的信息量有史以来第一次在理论上超过可用存储空间总量的一年。n数字信息的增长是因为网络应用的不断增长。n约30年前，大部分数据都是结构化的，如今，多媒体技术的普及后，非结构化数据爆炸式增长。Page 13n可视化是引起数字世界急剧膨胀的原因之一。由 于数码相机、数码监控摄像机和数字电视内容的 加速增多，及信息的大量复制趋势，使得数字世界的容量和速度超过之前。n个人日常生活的“数字足迹”也大大刺激了数字宇宙的快速增长。通过互联网、电子邮件、移动电话、数码相机和在线信用卡交易等方式，每个人的日常生活都在数字化。n大数据快速增长的部分原因归于智能设备的普及，比如传感器和医疗设备，以及智能建筑。n非结构化信息的增长部分归功于宽带数据的增长。Page 14全球数字信息五年间增长了10倍Page 15大数据与云计算Page 16二、大数据的相关技术大数据技术框架1234Page 17n分布式文件系统 特点： 支持PB级的大数据集； 提供高可靠、高吞吐率的顺序数据访问； 存储与计算共享节点（存储节点会同时参与应用程序的执行）； 使用廉价的硬件（高可扩展性）。 典型的代表： GFS(Google)、HDFS(Hadoop)0Page 18nHDFS-分布式文件系统 采用典型的主从结构的架构设计，实现文件系统元数据和应用数据分离存放。 名字节点：整个集群的主节点，管理元数据，文件访问的控制。 数据节点：从节点，负责来自客户端的读写请求，完成对文件内容的提取和保存。 文件分块，采用一次写多次读的文件访问模式。Page 19nHDFS-分布式文件系统Page 20nMapReduce MapReduce 计算模型可以说是大数据处理的核心算法。 MapReduce实现了Map和Reduce两个功能。Map把一个函数应用于集合中的所有成员，然后返回一个基于这个处理的结果集。Reduce对结果集进行分类和归纳。 Map()和 Reduce() 两个函数可能会并行运行，即使不是在同一的系统的同一时刻。Page 21n单词计数 给一个巨大的文本，计算单词的个数？！Page 22n单词计数 使用MapReduce求解该问题 定义Map和Reduce函数Page 23n单词计数 使用MapReduce求解该问题 Step 1: 自动对文本进行分割，形成初始的对。Page 24n单词计数 使用MapReduce求解该问题 Step 2:在分割之后的每一对进行用户定义的Map进行处理，再生成新的对。Page 25n单词计数 使用MapReduce求解该问题 Step 3:对输出的结果集归拢、排序(系统自动完成）。Page 26n单词计数 使用MapReduce求解该问题 Step 4:通过Reduce操作生成最后结果。Page 270Page 28nNOSQL特点： 不需要预定义模式（不需要预定义数据模式，预定义表结构，数据每条记录都可能有不同的属性和格式）； 无共享（将数据划分后存储在各个本地服务器上）； 弹性可扩展（运行时可动态添加删除节点）； 分区；异步复制。 Page 29NOSQL产品分类数据数据库库名称名称作者作者列存数据列存数据库库HbaseHadoopAzure TablesMicrosoftCassandraApacheHypertable开源开源SimpleDBAmazon文档数据文档数据库库MongoDB开源开源CounchDB开源开源键值键值存存储储Redis开源开源LevelDB开源开源Berkeley DB开源开源图图数据数据库库Neo4jNeo TechnologiesInfoGridNetMesh Inc0Page 30三、大数据的应用大数据驱动新应用，应用于各行各业Page 31n应用实例 1、奥巴马的大数据 奥巴马和他的大数据团队拥有海量数据和相应的处理能力，使他在大选中以332票对206票击败了共和党的米特.罗姆尼。 2、Google通过其大数据产品对用户的习惯和爱好进行分析，帮助广告商评估广告活动效率，预估在未来可能存在高达数千亿的市场规模。 3、Yahoo和Thinkmail等利用大数据分析技术来过滤垃圾邮件。Page 32 4、通过Google检索信息挖掘可以得到流感的传播情况； 5、通过Twitter信息可以预测股票行情； 6、预测犯罪； 7、智能交通。 Page 33四、大数据安全问题及保护技术1、大数据中的用户隐私保护 大量事实表明，大数据未能妥善处理会对用户的隐私造成极大地侵害。人们面临的威胁并不仅限于个人隐私泄露，还在于基于大数据对人们状态行为的预测。2、大数据的可信性 伪造或刻意制造的数据，错误的数据往导致错误的结论；数据在传播过程中的逐步失真。 密码学中的数字签名、消息鉴别码等技术可以用Page 34 于验证数据的完整性，但是应用于大数据的真实 性时面临很大困难，源于数据粒度的差异。 3、如何实现大数据访问控制 大数据访问控制的难点在于：难以预设角色，实 现角色划分；难以预知每个角色的实际权限。 4、保护技术 数据发布匿名保护技术、社交网络匿名保护技术、数字水印技术、数据溯源技术、角色挖掘、风险自适应的访问控制。Page 35 五、机遇与挑战 大数据对当今企业来说，既是绝佳的商机，也是巨大的挑战。 机遇： 数据规模越大，处理的难度也越大，但对其进行挖掘可能得到的价值更大。首先，大数据反映舆情和民意。其次，企业和政府的信息系统每天源源不断产生大量数据。 挑战： 目前，大数据技术的运用仍存在一些困难与挑战体现在四个环节中。Page 36（1）数据收集 要对来自收集的数据去伪存真，尽可能收集异源异构的数据，必要时还与历史数据对照，多角度验证数据的全面性和可信性。（2）数据存储。要达到低成本、低能耗、高可靠性目标，通常要用到冗余配置、分布化和云计算技术，在存储时要按照一定规则对数据进行分类，通过过滤和去重，减少存储量，同时加入便于日后检索的标签。（3）数据处理。有些行业的数据涉及上百个参数，其复杂性不仅体现在数据样本本身，更体现在多源Page 37异构、多实体和多空间之间的交互动态性，难以用传统的方法描述与度量，处理的复杂度很大，需要将高维图像等多媒体数据降维后度量与处理，利用上下文关联进行语义分析，从大量动态而且可能是模棱两可的数据中综合信息，并导出可理解的内容。（4）可视化呈现。使结果更直观以便于洞察。目前，尽管计算机智能化有了很大进步，但还只能针对小规模、有结构或类结构的数据进行分析，谈不上深层次的数据挖掘，现有的数据挖掘算法在不同行业中难以通用。 Page 38Thanks!