1.1、大数据概述1、大数据概述1996年，SGI公司首席科学家John Mashey第一次提出大数据的概念。2001年，Gartner分析师Doug Laney首先定义了大数据的三个维度：数据容量速度和种类（3V）。业界把3V扩展到了11V，但主要包括Volume、Velocity、Variety、Value等 2、大数据定义指无法在可承受的时间内用软硬件进行捕捉、管理和处理的数据集合，需要新处理模式才能使该数据集合成为具有更强的决策力、洞察力和流程优化等能力的海量、多样化的信息资产。 3、海量数据的来源由25%的结构化数据和75%的非结构和半结构化数据构成。数据类型分为：结构化数据：指可以存储在数据库里，可以用二维表结构来逻辑表达实现的数据。非结构化数据： 不方便用数据库二维逻辑表来表现的数据，包括所有格式的办公文档，文本、图片，XML，HTML，各类报表图像和音频，视频信息等等半结构化数据：介于结构化数据和非结构化数据之间的数据。HTML文档就属于半结构化数据。4、大数据的价值对于企业组织，大数据在竞争能力构建、决策分析和成本控制等领域有广泛的应用前景；对于事业组织，大数据在科学探索、知识服务和社会安全等领域也有强烈的需求。例如：1.在卫星测绘领域能海量存储数据。2.在金融领域能盘活归档数据，深挖存量数据价值。3.在能源勘探领域能进行潜力分析，降低的勘探成本。4.在媒体娱乐中能进行高清制播5、大数据基本特征（4V）量大（Volume）：存储大、计算量大样多（Variety）：来源多、格式多快速（Velocity）：生成速度快、处理速度要求快价值（Value）：价值密度的高低和数据总量的大小成反比，即有价值的数据比重小。6、大数据带来的挑战：网络架构：传统网络架构支持南北向网络流量，不适配大数据应用对东西流量的需求。数据中心：同时访问子系统压力大。数据仓库：不适应非结构化数据和半结构化数据在数据处理上的需求。7、大数据与云计算的关系：云计算是底层平台，大数据是应用。云计算作为底层平台，整合了计算、存储、网络等资源。同时提供基础架构资源弹性伸缩能力。大数据在云计算平台的支撑下，调度下层资源进行数据源加载，计算和最终结构输出等动作。1.2、电信大数据应用1、大数据给电信行业的机会与挑战挑战1：电信行业生产圈的信息产业遇到了革命性的变化。运营商相关业务的发展更加依赖数据，如传统的语音、窄宽、带宽数据以及超宽带 数字经济等相关业务的数据数据量越来越大。挑战2：OTT 虚拟运营商的介入。使得运营商竞争环境更加的复杂和激烈挑战3：客户消费模式的改变。需要大数据分析深入洞察用户的需求，进行定制化的服务，改善客户体验挑战4：提升精细化的管理水平。以数据为中心的运营支撑一体化、精细化成为必然趋势，数据将成为企业的核心资产。2、电信行业大数据典型商业需求大数据的总体目标是构建统一的数据采集与整合能力，大数据分析处理能力，计算及数据服务能力，大数据应用能力和互联网化得数据开放能力，支撑业务创新与商业成功。（1） 延长用户生命周期-大数据建模支撑用户全生命周期的营销和维系（2） 提升业务使用量-基于大数据的营销体系有效运作、支撑多批次、小群体、高成功率、多用户触点的营销（3） 对外价值变现-实现对外合作、MR数字轨迹形成商业价值3、常见应用场景（1）、潜在离网用户维挽场景通过大数据的用户管理，对潜在的离网用户进行数据分析。通过大数据实现用户管理、营销策划、营销实施和闭环反馈的拉通。当海量用户数据来了之后，用大数据平台对所有用户进行分类、识别和管理。用户识别之后，根据用户大数据分析结果触发营销策略。对用户在内部进行渠道选择，匹配相应的资源套餐，通过用户的选择来进行效果的反馈。（2）、综合网管分析平台基站关联分析场景根据离网用户的位置轨迹，用户的业务行为，基站地图以及基站网络质量KPI获得数据源，然后进行大数据的建模分析，判断离网用户是否与其常出没的基站存在关联，进而输出质差基站列表、基站供需平衡度、经常出没已识别质差以及基站的未离网用户列表。最后确定可服务的商用场景。（3）、数据变现场景：户外数字媒体/非数字媒体价值评估场景户外媒体行业缺乏受众测量方法户外数字媒体/非数字媒体价值评估场景-需求分析、相关数据分析、广告屏分析得出结果输出4、电信运营商大数据应用方向以前电信运营商的主要收入来源：语音、短信业务，未来：数字化服务收入时代。因此需要建设大数据平台支撑：（1）自有业务收入提升（2）非通信价值变现，进而使运营商的业务数字化。2.1、信息安全框架1.信息与信息安全信息：数据/信息流2.信息安全：保密性（Confidentiality）：只有授权用户可以获取信息完整性（Integrity）：信息在输入和传输过程中不被非法授权、修改和破坏，保证数据的一致性。可用性（Availability）：保证合法用户对信息和资源的使用不会被不正当的拒绝。上述三个基本安全属性成为CIA 3.安全漏洞的影响1.声誉损失 2.财务损失 3.知识产权损失 4.失去客户的信任 5.业务中断这所有最终会造成信誉损失。 4.信息安全信息安全是“组织问题”不是“IT问题”，超过70%的威胁是内部，超过60%的罪魁祸首是初次欺诈和讹骗活动。最大的风险和资产都是人。 5.IATF深度防御保障模型IATF阐述了系统工程、系统采购、风险管理、认证和鉴定、以及生命周期、支持等过程。 6.信息安全管理的作用技术措施需要配合正确的使用才能发挥作用。根本上说，信息安全是个管理的过程，而不是技术过程，技术不高但管理良好的系统远比技术高但管理混乱的系统安全。 7.信息安全管理体系（ISMS）ISMS是一种常见的对组织信息安全进行全面、系统管理的方法。ISMS是由ISO27000定义的一种有关信息安全的管理体系，是一种典型的基于风险管理与过程方法的管理体系。周期性的风险评估，内部审核，有效性测量，管理评审是ISMS规定的四个必要活动，能确保ISMS进入良性循环，持续自我改进。2.2、信息安全审计1、风险、信息安全风险的概念风险：指事态的概率及其结果的组合信息安全风险：指认为或自然的威胁利用信息系统及其管理体系中存在的脆弱性导致安全事件的发送及其组织造成的影响。（例如：棱镜门事件） 2、风险的构成包括五个方面：起源（威胁源）、方式（威胁行为）、途径（脆弱性）、受体（资产）和后果（影响）3、风险相关术语1.资产：任何对组织有价值的东西，是要保护的对象，以多种形式存在（多种分类方法）：物理：计算设备、网络设备和存储介质等逻辑：体系结构、通信协议、计算程序和数据文件等硬件 软件 有形、无形：品牌、名誉等静态：设施、规程等 动态：人员和过程、技术和管理等。2.威胁：可能导致对系统或组织危害的不希望事故潜在起因引起风险的外因威胁源采取适当的威胁方式才可能引发风险常见的威胁源：操作失误、滥用授权、行为抵赖、身份假冒、口令攻击、密钥分析、漏洞利用、拒绝服务、窃取数据、物理破坏、社会工程等。3.脆弱性：可能被威胁所利用的资产或若干资产的薄弱环节造成风险的内因脆弱性本身不对资产构成危害，会被威胁源利用，从而对信息资产造成危害比如：系统程序代码缺陷、系统安全配置错误、系统操作流程有缺陷、维护人员安全意识不足。4.可能性：某件事发生的机会；代表威胁源利用脆弱性造成不良后果的机会； 4、风险的概念威胁源采用某种威胁方式利用脆弱性造成不良后果的可能性，即威胁源采取威胁方式利用脆弱性造成风险。5、信息安全审计是依据有关信息安全技术与管理标准，对信息系统及由其处理、传输和存储的信息的保密性、完整性和可用性等安全属性进行评价的过程。是揭示信息安全风险的最佳手段，改进信息安全现状的有效途径，满足信息安全合规要求的有效方式。2.3、信息安全标准1、大部分信息安全问题的发生原因：员工缺乏信心安全意识没有建立必要的信息安全管理机制没有严格执行信息安全管理制度缺乏必要的信息安全技术控制措施标准和标准化相关的基本概念2、标准：是为了在一定范围内获得的最佳秩序，经协商一致制定并由公认机构批准，共同使用和重复使用的规范性文件。国际标准化组织（ISO）：是一个全球性的非政府性组织，是国际标准化领域中一个十分重要的组织。国际标准：是指国际标准化组织或国际标准组织通过并公开发布的标准。国家标准（GB）：是指国家标准机构通过并公开发布的标准。3、信息安全标准体系是由信息安全领域内具有内在联系的标准组成的科学有机整体；是编制信息安全标准制定/修订计划的重要依据； 2.4、信息安全现状分析1、常见信息安全问题计算机病毒：编制者在计算机程序中插入的破化计算机功能或数据的代码，能影响计算机使用，能自我复制的一组计算机指令或程序代码。系统漏洞：应用软件或操作系统软件在逻辑设计上的错误或缺陷。黑客：热心于计算机技术、水平高超的闯入计算机系统或者网络系统者，热衷于从事恶意破解商业软件、恶意入侵别人网站等事务。 2、信息安全问题产生根源内因：信息系统本身存在脆弱性， 过程复杂、结果复杂、应用复杂。外因：威胁与破坏， 主要因为人为因素和环境因素。 3、信息安全发展阶段1.通信安全：信息和保密性。诞生于20世纪4070年代。核心思想是：通过密码技术解决通信保密，保证数据的保密性和完整性，主要关注传输过程中的数据保护。安全威胁：搭线窃听、密码学分析。安全措施：加密技术。 2.计算机安全：随着计算机的出现，安全就聚焦在如何保护计算安全。诞生于20世纪7090年代。核心思想是：预防、检测和减小计算机系统（包括软件和硬件）执行未授权活动所造成的后果，主要关注与数据处理和存储时的数据保护。安全威胁：非法访问、恶意代码、脆弱口令等安全措施：通过操作系统的访问控制技术来防止非收取用户的访问。 3.信息系统安全：随着信息化的不断深入，互联网的出现需要用到信息系统，主要涉及到保密性、完整性、可用性等。诞生于20世纪90年代后。核心思想是：综合通信安全和计算机安全。重点在于保护比“数据”更精炼的“信息”，确保信息在存储、处理和传输过程中免受偶然或恶意的非法泄密、转移或破化。安全威胁：网络入侵、病毒破化、信息对抗等。安全措施：防火墙、防病毒、漏洞扫描、入侵检测、PKI、VPN等 4.信息安全保障：提升到一个可以可靠的、有利的保障企业安全运作、国家安全。核心思想是：信息安全从技术扩展到管理，从静态扩展到动态，通过技术、管理和工程等措施的综合融合，形成对信息、信息系统乃至业务使命的保障。安全威胁：黑客、恐怖分子、信息战、自然灾难、电力中断等安全措施：技术安全保障体系、安全管理体系、人员意识培训教育2.5、信息安全发展趋势 云计算和软件开源正在逐步成为新的标准1、云服务随着越来越多企业和个人开始将有价值的数据保存在云环境中，恶意人士当然也