大数据时代的大数据思维大数据时代大数据思维不讲大数据就“OUT”了n如何理解大数据n技术：大云平移n产业：商业革命n资产：数据资产n思维：管理革命和思维革命n大数据时代：改变我们的生活、工作和思维方式nGartner公司（3V+1）：大数据是指数量大、变化快和（或）多样化的信息资产，需要新的处理形式，从而强化决策、促进洞察力和优化流程大数据时代大数据思维数据量（Volume）n全量超大规模（海量）nK、MB（兆）、G、T、P、E、Z、Y、N、D、C n大数据的起始计量单位至少是P（1000个T）n不仅是规模，更重要的是增长速度n到2012年，人类生产的所有印刷材料数据量是200PB，全人类历史上说过的所有话的数据量大约是5EBn整个人类文明所获得的全部数据中，有90%是过去两年内产生的n到了2020年，全世界所产生的数据规模将达到今天的44倍大数据时代大数据思维n速度（ Velocity）：实时变化（输入和处理速度快）n对处理时间的要求n种类（Variety)）：多样化（多源异构）n结构化n非结构化：文本、图象等n价值（Value）:价值密度低n大海捞针？n数据本身不产生价值，如何分析和利用大数据对业务产生帮助才是关键n例：Facebook上市前有形资产价值66亿美元，但估值1040亿美元n2009年-2011年间收集了2.1万亿条获利信息大数据时代大数据思维大有大的道理n戴明：除了上帝，任何人都必须用数据来说话n对大部分事物来说，平均值都差强人意n但在决策中，大量个体的平均值往往是最好的n猜猜瓶子里有多少钱？n猜得最准的个人距离正确答案10美元n所有猜测的平均值距离正确答案3美元n365美元大数据时代大数据思维数据、模型和理论的关系大数据时代大数据思维光大是不够的n数据并不是越多越好n对数据分析能力的挑战：由人来解读转化为洞察见解n科斯：如果你总是拷问数据，数据迟早会招供的n有一位美国数学家最怕坐飞机n他研究了近20年的统计数据，发现恐怖分子带炸弹上飞机的概率非常低n但他还是不放心，又做进一步研究，发现两个人同时带炸弹上飞机的概率为零n于是他坐飞机都自己携带一枚炸弹 n水生动物不要羡慕陆生动物的四个蹄子，它真正需要的是生出一个肺，而不是用腮呼吸大数据时代大数据思维林彪的大数据思维n辽沈战役期间，林彪要求每天要进行“军情汇报”n由值班参谋读出各单位用电台报告的当日战况和缴获n几乎是重复着千篇一律枯燥无味的数据n一天，参谋汇报当日战况时，林彪突然打断他：“刚才念的在胡家窝棚那个战斗的缴获，你们听到了吗?”n见无人回答，接连问了三句n为什么那里缴获的短枪与长枪比例比其它战斗略高n为什么那里缴获和击毁的小车与大车的比例比其它战斗略高?n为什么在那里俘虏和击毙军官与士兵的比例比其它战斗略高?n“我猜想，不，我断定!敌人的指挥所就在这里!n果然，部队很快就抓住了敌方指挥官廖耀湘大数据时代大数据思维大数据内涵的三维度解析技术实践理论数据信息采集、传输、存贮、处理和分析能力云技术、分布式处理技术、存贮技术、感知技术分析技术：可视化分析、数据挖掘算法、语义搜索引擎、数据质量与数据管理、预测性分析大数据特征大数据价值大数据思维n公共（互联网）数据n政务数据n产业（企业）数据n个人（用户）数据（i-data)大数据时代大数据思维大数据的本质n用母体代替抽样n统计抽样的局限性n用数量代替精确n拥抱混杂性：容错性更强n用相关性代替因果性n知道是什么比知道为什么更重要n演绎与归纳的区别n演绎：通过一般规律推导出具体事实（从因到果）n归纳：从具体事实中总结出一般规律大数据时代大数据思维大数据的启示：决策分析观念的转变n传统n抽样数据、局部数据和片面数据n经验、假设和价值观n未来n要全体不要抽样n要效率不要绝对精确n要相关不要因果n分析过去，提醒现在，展望未来大数据时代大数据思维Gary Loveman博士的经历n1989年在MIT获经济学博士学位后在哈佛商学院任教n专长是数据挖掘和服务管理：客户心理分析n数学只是象牙塔里学究们出于个人兴趣的消遣，而对真实世界的决策没有帮助，这让他一度感到沮丧n1994年在HBR发表一篇文章引起企业关注n1997年接受主营赌场业务的哈拉斯娱乐公司（Harrahs Entertainment）邀请，担任该公司COOn他只准备待两年，为此请了两年学术假期n再没有返回哈佛大学，2003年接任该公司CEOn关键：使用数学运营赌场大数据时代大数据思维哈拉斯娱乐公司的特色n每年在信息系统上的投资超过1亿美元 n推行了一套名为“完全回馈”（Total Reward）的会员卡制度，所有消费都用卡n到2010年，已积累超过4000万会员的信息，是博彩业最大的客户数据库n公司从地方性企业成长为全球最大的博彩公司（拥有39家本土赌场、13家海外赌场） n2010年改名为凯撒娱乐公司(Caesars Entertainment） 大数据时代大数据思维利用大数据提供优质服务n通过对顾客消费模式的分析，计算出顾客的长期价值（customer worth）n一个顾客理论上长期会在Harrahs总共消费多少n26%的客户贡献了82%的收入：前者并不是大多数赌场一直在争取的金领豪客，而是中产阶级的中老年顾客（教师、医生、银行职员等）n系统能根据顾客背景资料及历史消费模式计算出顾客的痛苦点（pain point）n如果他输钱超过痛苦点，今晚的赌博会成为一个痛苦的回忆，离开Harrahs后一去不返n实时做出对策：提供免费餐券劝退大数据时代大数据思维投资决策n电影永无止境的故事n一位落魄的作家库珀服用了一种可以迅速提升智力的神奇蓝色药物，然后他将这种高智商用于炒股n在短时间掌握无数公司资料和背景：将世界上已经存在的海量数据（包括公司财报、电视、互联网、小道消息等）挖掘出来n甚至将Face Book、Twitter的海量社交数据挖掘得到普通大众对某种股票的感情倾向n通过海量信息的挖掘、分析，使一切内幕都不是内幕，使一切趋势都在眼前n在10天内赢得了200万美元，神奇的表现让身边的职业投资者目瞪口呆n启示：如果人类将剩余80的大脑潜能激发出来 大数据时代大数据思维大数据实践n广泛应用数据、使用统计与量化分析方法、使用描述性与预测性模型以及基于事实的管理方法影响决策和行动n核心：用大数据思维去发掘大数据的潜在价值大数据时代大数据思维以基于大数据的预测分析为例n消费行为：营销n人的社交活动：恋爱、离婚、生育n人的思考与决策：竞选、论文评分、情绪n人的放弃：惠普对30多万员工的离职风险评估n事故：保险、破产n疾病和死亡n撒谎、欺诈、犯罪n西格尔，大数据预测，中信出版社，2014年4月n大数据预测的147项案例大数据时代大数据思维Google流感预测：国家、地区n是分析过去，提醒现在，展望未来。 大数据时代大数据思维百度预测n景点预测n疾病预测n城市预测n房地产预测n票房预测n就业预测n金融预测n世界杯预测n高考预测大数据时代大数据思维百度大数据产品n百度司南：一站式营销决策平台n人群分析n品牌分析n媒体分析n舆情分析n百度统计n百度精算n百度推荐n百度筷搜？大数据时代大数据思维大数据：价值潜力与捕捉难度大数据时代大数据思维大数据对企业的革命性影响n有能力从以自我为中心改变为以客户为中心n从产品创新到需求创新：强需求胜过好产品n导致管理方式的重构n业务本身就可以自决策，不必要依靠膨大的组织和复杂的流程n改变了商业逻辑n从观察、思考、推理、决策到直接获得答案n决策文化变革：让数据做主n从全新视角来发现新的商业机会和重构新的商业模式n广角镜+显微镜大数据时代大数据思维农夫山泉用大数据夫山泉用大数据卖矿泉水泉水n“大自然搬运工” ，在全国有十多个水源地n“搬上搬下，银子哗哗”：一瓶超市售价2元的550ml饮用水，其中3毛钱花在了运输上n如何根据不同的变量因素来控制物流成本n道路等级、天气、配送中心辐射半径、季节性变化、不同市场的售价、不同渠道的费用、各地的人力成本、甚至突发性的需求 n业务员每天例行公事：到销售点拍摄10张照片：水怎么摆放、位置有什么变化、高度如何n一天要跑15个，下班之前150张照片传回总部，产生的数据量在10Mn全公司1万个业务员，每天100G，每月3TB大数据时代大数据思维基因测序与个性化医疗的实现 n一种新型基因检测技术，能够从血液或唾液中分析测定基因全序列n意义：预知未来健康状况，有针对性地进行保健和治疗，帮助人们从被动预防治疗走向主动预知健康n乔布斯和影星安吉丽娜朱莉n市场比保健市场更为庞大，未来将达到几百万亿美元n问题：消耗时间、代价昂贵n一个肿瘤患者的基因组容量是2-3Tn借助于大数据，基因测序的成本已经从几十万美元逼近1000美元大关大数据时代大数据思维大数据实践为企业创造价值的可能途径n客户群体细分，量身定制特别服务n发现隐藏线索，进行产品和服务创新n模拟现实环境，发掘新的需求n加强部门联系，提高管理和产业链条效率大数据时代大数据思维例1：提供个性化定制性服务 n美国明尼阿波利斯市郊外的一位父亲收到了美国第二大零售商Target寄来的有关养育婴儿的优惠券n收件人是他那还读高中的女儿n这位父亲起初勃然大怒，准备同该商家理论n但后来发现女儿确实不小心怀了孕n根据25种典型消费品的消费大数据构建了“怀孕预测指数”n商家正是根据这位少女在该店的购物记录，通过该指数，准确无误地预测到了她的预产期n于是立即启动了个性化服务大数据时代大数据思维例2：把握居民电力消费行为特征n人类对自身能源消耗的细节并不了解n在这些细节中暗藏了大量无效率的能源浪费n不同的消费形态造成不同的发电成本n不同发电成本负担的消费者支付了相同价格，从而造成巨大的无效率n现有定价机制无法根据消费形态不同区分不同价格n通常假设居民电力消费行为具有“双峰”特点n由智能电表得到的大数据分析不支持：每隔15分钟测量n虽然总体呈现此模式，但个体模式各异（只有10%）n通过大数据技术设计高效节能电力消费模式大数据时代大数据思维例3 再现现场环境发现新的需求nPRADA在纽约的旗舰店中每件衣服上都有RFID码n每当一个顾客拿起一件PRADA进试衣间，RFID会被自动识别，数据会传至PRADA总部n每一件衣服在哪个城市哪个旗舰店什么时间被拿进试衣间停留多长时间，数据都被存储起来加以分析n如果有一件衣服销量很低，以往的作法是直接干掉n如果RFID传回的数据显示这件衣服虽然销量低，但进试衣间的次数多n某个细节的微小改变就会重新创造出一件非常流行的产品大数据时代大数据思维大数据相关技术大数据时代大数据思维苏珊.朗格，哲学新解n某些观念有时会以惊人的力量给知识状况带来巨大的冲击n由于这些观念能够一下子解决许多问题，所以，它似乎将有希望解决所有基本问题，澄清所有不明了的疑点n每个人都想迅速地抓住它们，作为进入某种新实证科学的法宝，作为可以用来建构一个综合分析体系的概念轴心n这种“宏大概念突然流行起来，一时间把几乎所有的东西都挤到了一边 大数据时代大数据思维大数据不擅长的 n数据不懂社交：”质“与”量“n数据不懂背景：情景因素n数据会制造出更大的“干草垛”：噪声n数据偏爱潮流，忽视杰作：短期与长期n大数据无法解决大问题n数据掩盖了价值观念大数据时代大数据思维