- 89 -AR 增强现实 的技术实现 及案例 1AR先烈：谷歌眼镜（Google Glass）2012年4月发布，它可以通过声音控制拍照、视频 通话和辨明方向，以及上网冲浪、处理文字信息和电子邮件等。先锋：微软HoloLens全息眼镜于北京时间 2015年1月22日凌晨与Window10同时发 布，6月15日微软在E3游戏展上展示更完整的现实 增强版Minecraft游戏。新锐：Magic Leap成立于2011年，2014年获得谷歌领投的5.42亿美元投资，Magic Leap曾在2015年9月发布过一段“直接利用Magic Leap技术”实现的视频 ，没有添加任何特效，但样品一直没有曝光。 2- 91 -AR提到AR，可能想到的应用： 战斗机的平视显 示器 汽车的HUD（Head Up Display）抬头显 示（或称平视显 示器）（宝马汽车高端车型均已应用此类技术）图片来源：AUTONET 3- 92 -ARAR其实一直在我们的生活中 购物比价软件； 点读笔； 谷歌的对译 ； 语音翻译软 件APP； 导航软件APP； 旅游景区介绍景点的APP；等等国内企业的机会不在于平台，而在于找到用户痛点，从小功能突破。汽车后装HUD生产商Navdy2014年8月众筹引起轰动 效应，目前国内在汽车HUD领域创业 的正如火如荼，可以连接汽车OBD接口显示汽车状态数据、可连手机接电话 及语音回短信、可导航、可语音或手势交互，渐渐 将成为汽车智能平台。该领 域技术难 点在于台式机的散热、强日光下的呈像清晰度，或者要抛弃Navdy路线。 Navdy采用DLP技术， 配备了5.1英寸透明HUD“Feels Like Driving In The Future” 4- 93 -ARAR有两类，一类是不融合现实 ，只从旁提示信息用，像Google Glass，一类是与现实 融合，而融合方式又分两种，一种是透明AR（optical see-through)：透过镜 片直接看到现实 世界；另一种是视频 叠加AR（video see-through或videooverlay）：通过摄 像头捕捉前方现实 世界，以视频 加其它增强信息共同呈现给 用户。AR可以看成VR的超集，镜片前面一遮就成了VR，不过目前AR的FOV还是太小了，反过来，VR加个前置摄像头也可实现视频 叠加型AR，现在手机和平板上已经出现了很多video overlay的APP，比如上海的小熊尼奥（15年获纪 源资本GGV Capital领投、高通等跟投的1.2亿人民币）。两种融合AR遭遇的挑战都是刷新延迟，视频 叠加AR相比透明AR，优势 在于算法简单 、劣势在于多为2D视频 ，如果是3D沉浸式的，延迟问题 更大。视频 叠加AR的两大底层引擎，德国Metaio于15年5月22日被苹果收购后暂停对外服务，Vuforia于随后的 10月12日被高通卖给了物联网公司PTC还对 外服务，其它引擎还有法国TOTAL IMMERSION的DFusion、国内的Realmax、亮风台HiScene等。图片来源：小熊尼奥口袋动物园 5- 94 -ARSight（以色列2012）导演兼编剧：丹尼尔 拉索 6- 95 -Google Glass谷歌眼镜最初在2012年4月5日发布，13年10月30日又发布了第二代，加了微型耳塞（前代骨传感耳机在嘈杂背景下听不清），并对小型近视眼镜架做了适配处理，14年4月15日正式限量以1500美元发售，7月正式开放直播功能。GoogleGlass可抬头唤 醒或者“OK glass” 语音唤醒、摘除锁屏，可手势L型比划或眨眼拍照、可录像分享、收发短信、上网、处理电邮 、查询 天气路况等，只是应用市场Glassware中的APP不到50款，均免费。 7- 96 -Google GlassLCOS 硅基液晶微投影技术。Google Glass实际 上就是微型投影仪+摄像头+传感器+存储传输 +操控设备 的结合体，用的是Himax的Color Sequential LCOS显示器（类似于DLP，用硅基液晶反射光线），型号HX7309，分辨率640 x360 ，显示区尺寸4.8*2.7毫米，经曲面镀膜棱镜反射后，显示效果如同2.4米外的25英寸16:9屏幕，摄像头像素为500万，可拍摄 720p视频 ，16G内存，支持WiFi与蓝牙连接；全镜重50g，电池570mAh，藏于右镜架脚， 一次充电6小时可用，但拍照只能用2小时，拍视频 撑不到40分钟。图片来源：谢煜，知乎 8- 97 -Google Glass2015年1月19日，谷歌正式停止了谷歌眼镜的“探索者”项目，虽然成了先烈，索尼、三星、联想以及国内很多初创企业也在跟进发 展自己的Glass。Google Glass得到了外科医生、建筑工人、机修工程师等技术人才的认可，但失败的原因有三点：1、1500美元的价格太贵，应用少显得性价比不高；2、挂在右眼上方的小屏幕，与现实 世界分离，斜眼分散注意力，容易有出行风险 ；3、助长了偷拍、偷录 等不法行为，触及了隐私与版权的底线，有些酒吧、餐厅、影院等公共场合明确禁止使用，用户甚至得到了“眼镜混蛋”（Glassholes）的不雅称呼，有人认为 正是谷歌的极端限售造成了拥有眼镜的人成为少数派，所以被社会孤立。 9- 98 -Google Glass谷歌眼镜应 用：Emotient通过表情分析情绪，虽然有认为 Google Glass的应用场景太少，但类似Emotient这样 的系统在商业营销 分析中还是很有帮助。第三方Emotient2014年3月7日推出了一体验款全新应用，可以利用谷歌眼镜分析其他人的心理感受。Emotient 起源于加州大学的 “机器感知实验 室”(Machine Perception Lab)，它能分辨出类似于喜悦、愤怒、悲伤、惊讶等等基础表情，以及焦虑、沮丧等复杂表情，普通网络摄 像头就能支持分析。这家公司已经于2016年1月8日被苹果收购。 10- 99 -Google Glass谷歌眼镜的工作被分配至托尼 法戴尔(Tony Fadell)领导 的消费类 硬件部门（Nest）智能家居，Tony是iPod之父。2014年5月原Glass项目负责 人Adrian Wong投奔Oculus VR，由曾在博士伦担任高管负责 太阳镜Outlook Eyewear设计 推广的营销人才Ivy Ross接任。眼镜研究并未停止，未来可能更关注用户需求，新款Google Glass 可能不久就会面世，15年6月Google又公开招聘Glass项目高级生产技术工程师，16年1月据华盛顿邮报 报道，有人在FCC（联邦通信委员会）网站上找到了Google Glass 的材料，增设了录制视频 的闪烁 提示灯以规避隐私侵犯问题 ，另有消息称，眼镜复出将主打2B路线，以尽量规避隐私争议。不过看图还 是单目的！ 11- 100 -微软HOLOLENS微软HoloLens于北京时间 2015年1月22日凌晨与Window10同时发 布，迅速赢得舆论 关注，6月15日微软在E3游戏展上展示更完整的现实 增强版Minecraft游戏。HoloLens利用3D投射，在现实场 景之上叠加一层立体的虚拟展示界面，通过手势、语音、蓝牙点击配件Clicker交互，支持眼球追踪，可以在墙上获取消息、查找联系人，在客厅墙 上直接进行Skype视频 通话、观看球赛，在地上、家具间玩Minecraft等游戏，甚至于可以将创造的虚拟物品通过3D打印变为实 物。“Because when you changethe way you see the world, youcan change the world you see.”Hololens不认为 自己是AR，而认为 自己是MR（Mix Reality） 12- 101 -微软HOLOLENS微软Hololens项目由前 Xbox 孵化项目总经 理、被誉为 Kinect 之父的 Alex Kipman负责 ，他是巴西裔，2001年加入微软后成为100多项专 利的第一发明者，被誉为美国高科技行业25位最具创新人才之一。酷产品Kinect是微软在2009年6月2日E3大展上发布的Xbox 360的体感外设， 2010年6月14日更现名， 11月4日在北美正式发售。它是一种3D体感摄影机，可即时动态 捕捉、影像辨识、语音辨识、社群互动。 2013年5月28日的XboxOne发布会上，微软展示了第二代Kinect，11月22日正式发售，捆绑销 售。 13- 102 -微软HOLOLENSHololens借用了Kinect的核心技术，准确说应该 是头戴版Kinect+微投影。Kinect一代是基于测量红外光斑来进行深度检测 ，Kinect二代是基于time-of-flight技术。一代采用的是以色列PrimeSense的三维测 量技术，该公司后来被苹果收购，而二代采用的ToF技术是09年微软收购的以色列公司3DV的，微软之所以没有在一代产品中采用3DV的技术，主要是3DV的感光芯片要测量光飞行时间 ，须做到飞秒级的快门，据说他们在芯片中用到砷化镓，使其时钟频 率提高到上百G，但这样 做成本太高。两代Kinect都是两个传感器，一个是红外传感器，主要用来监视 人体的动作、深度和温度，另一个则是用来识别颜 色的RGB摄像头，两代都有人脸检测 ，3维重建等功能。 Kinect一代，彩色摄像头为 640*480，深度摄像头为 320*240，只能识别 两个人的骨骼数据；K二代，彩色为1080P，深度摄像头为 512*424，能识别六个人的骨骼、手指的灵活运动，甚至能监控用户的脉搏，识别稳 定精度更高。一代二代 14微软HOLOLENSKinect上市之初微软5亿美元营销 ，邀请美国脱口秀女王Oprah Winfrey在节目中说“You are the controller”标语 ，赢巨大关注。消费者可以150美元单买Kinect1，或以299美元同时购买 Xbox 360和Kinect1，销售一度良好。但是，Kinect叫好不叫座，2015年停产！Xbox One上市后与Kinect2捆绑499美元销售，问题 是一直配套游戏多属家庭娱乐 与健身，并且体感游戏对 客厅空间有要求，缺重型游戏。难敌 399美元的索尼PS4，销售比拉开到1:3，微软只得于2014年6月9日放开捆绑销 售，可以399美元购买 Xbox One，主机销售虽稍稍追回，因为价钱低了，且没有了Kinect的资源占用，图像性能提升了10%，而Kinect则慢慢滑向深渊。微软为 了扩大应用，还曾于2012年2月推出第一代Kinect for Windows，售价为249美元，2014年7月推出第二代Kinect forWindows，售价为199美元，不过，最后到2015年4月初宣布停产。Kinect家族累计卖 出2900万部。Kinect团队转战 Hololens，是新生，还是会重蹈覆辙？- 103 - 15- 104 -微软HOLOLENSHoloLens是一款基于深度摄像头，高性能处理器和双屏幕显示的头戴式计算机设备，可以独立使用，支持WiFi和蓝牙，内置CPU、GPU和一颗首创的HPU全息处理器，具备立体音效系统以及一整套传感器实现 各种功能。不过Hololens不像Google Glass那样在室外用，而是设定为室内用，避免了Google Glass的隐私争议，我们认为 一是室内光线较 暗、利于其展现，二是Hololens室内预建模的需要。图片来源：Imgur，作者不详 16微软HOLOLENSHoloLens原理如下图：微软凭借积累深厚的Kinect深度摄像头技术，以及基于SLAM（实时 定位与地图构建）技术打造的Kinect Fushion 3D建模技术，从原型机试用报告看，3D渲染达到720P画质、刷新无延迟、定位精准。再下图，感觉Hololens在识别 方面用的还是Kinect1的光编码 技