第五章 多媒体人机交互多媒体人机交互一 概述二 回顾三 进展四 挑战五 结论3概概 述述人机交互技术(Human-Computer Interaction Techniques)是指通过计算机输入、输出设备，以有效的方式实现人与计算机对话的技术。它包括机器通过输出或显示设备给人提供大量有关信息及提示请示等，人通过输入设备给机器输入有关信息及提示请示等，人通过输入设备给机器输入有关信息，回答问题等。3 3人机交互与多媒体研究室人机交互与多媒体研究室 4概概 述述人机交互技术是计算机用户界面设计中的重要内容之一。它与认知学、人机工程学、心理学等学科领域有密切的联系。 4 4人机交互与多媒体研究室人机交互与多媒体研究室 5一 概述5 5人机交互与多媒体研究室人机交互与多媒体研究室 6人机交互与用户界面人机交互与用户界面人机交互人机交互（Human-Computer Interaction, HCI): Human-Computer Interaction, HCI): 是研究人、计算机以及它们间相互影响的技术是研究人、计算机以及它们间相互影响的技术用户界面用户界面: : 是人与计算机之间传递、交换信息的是人与计算机之间传递、交换信息的媒介和对话接口，是计算机系统的重要组成部分媒介和对话接口，是计算机系统的重要组成部分 人机交互与用户界面是两个有着紧密联系而又不人机交互与用户界面是两个有着紧密联系而又不尽相同的概念尽相同的概念人机交互强调的是技术和模型，用户界面是计算人机交互强调的是技术和模型，用户界面是计算机的关键组成部分机的关键组成部分 6 6人机交互与多媒体研究室人机交互与多媒体研究室 7人机交互技术与计算机始终相伴发展人机交互技术与计算机始终相伴发展计算机的发展历史，不仅是处理器速度、存储器计算机的发展历史，不仅是处理器速度、存储器容量飞速提高的历史，也是不断改善人机交互技容量飞速提高的历史，也是不断改善人机交互技术的历史。术的历史。人机交互技术人机交互技术, , 如鼠标器、窗口系统、超文本、浏如鼠标器、窗口系统、超文本、浏览器等等，已对计算机的发展产生了了巨大的影览器等等，已对计算机的发展产生了了巨大的影响，而且还将继续影响整个人类的生活。响，而且还将继续影响整个人类的生活。人机交互技术是当前信息产业竞争的一个焦点，人机交互技术是当前信息产业竞争的一个焦点，世界各国都将人机交互技术作为重点研究的一项世界各国都将人机交互技术作为重点研究的一项关键技术。关键技术。 7 7人机交互与多媒体研究室人机交互与多媒体研究室 8人机交互技术的目标人机交互技术的目标美国总统信息技术顾问委员会的美国总统信息技术顾问委员会的“ “2121世纪的信息技术报告世纪的信息技术报告” ”中列出了新世纪四项重点发展的信息技术中列出了新世纪四项重点发展的信息技术研制能听、能说、能理解人类语言的计算机研制能听、能说、能理解人类语言的计算机使计算机更易于使用，操作起来更愉快，从而提高使用者使计算机更易于使用，操作起来更愉快，从而提高使用者的生产率的生产率 pp人机交互和信息管理pp软件pp可伸缩信息基础设施pp高端计算8 8人机交互与多媒体研究室人机交互与多媒体研究室 9计算机的三个作用计算机的三个作用 ACM ACM图灵奖图灵奖19921992年获得者、微软研究院软件总工程年获得者、微软研究院软件总工程师师Butler LampsonButler Lampson在题为在题为“ “二十一世纪的计算研究二十一世纪的计算研究” ”报告中指出报告中指出“ “计算机有三个作用：计算机有三个作用：模拟; 帮助人们进行通信; 互动：与实际世界的交流”“ “人们希望计算机能够看、听、讲，甚至比人做得人们希望计算机能够看、听、讲，甚至比人做得更好，并能够进行实时处理。更好，并能够进行实时处理。” ” 9 9人机交互与多媒体研究室人机交互与多媒体研究室 10两个重要的应用趋势两个重要的应用趋势计算机系统的拟人化计算机系统的拟人化以虚拟现实为代表以虚拟现实为代表计算机的微型化、随身化和嵌入化计算机的微型化、随身化和嵌入化以手持电脑、智能手机为代表以手持电脑、智能手机为代表 人机交互技术是面临这种趋势的瓶颈技术。人机交互技术是面临这种趋势的瓶颈技术。以人为中心、自然、高效将是新一代人机交互的以人为中心、自然、高效将是新一代人机交互的主要目标。主要目标。 1010人机交互与多媒体研究室人机交互与多媒体研究室 11二 回顾1111人机交互与多媒体研究室人机交互与多媒体研究室 12人机交互的发展历史人机交互的发展历史人机交互的发展历史，是从人适应计算机到计算机不断地适应人的发展史 人机交互的发展经历了几个阶段： 1.早期的手工作业阶段早期的手工作业阶段 2.作业控制语言及交互命令语言阶段作业控制语言及交互命令语言阶段3.图形用户界面（图形用户界面（GUI）阶段）阶段 4.网络用户界面的出现网络用户界面的出现 5.多通道、多媒体的智能人机交互阶段多通道、多媒体的智能人机交互阶段 1212人机交互与多媒体研究室人机交互与多媒体研究室 13人机交互的发展人机交互的发展1、手工操作 世界上第一台数字计算机ENIAC采用外接式的程序，它通过读卡孔机、打卡孔机、以及打字机来进行输入输出。穿孔卡应该算是最早的人机交互 1313人机交互与多媒体研究室人机交互与多媒体研究室 14人机交互的发展人机交互的发展2、命令行界面 进入作业控制语言及交互命令语言阶段，计算机可以由程序员操作，采用批处理操作语言或者交互命令语言的方式与计算机打交道 1414人机交互与多媒体研究室人机交互与多媒体研究室 15人机交互的发展人机交互的发展3、图形用户界面 二十世纪六十年代，鼠标和图形用户界面 (Graphy User Interface)出现，彻底改变了计算机的历史，GUI的主要特点是桌面隐喻、WIMP（窗口、图标、菜单和指点设备，Window/Icon/Menu/Pointing Device）技术、直接操纵和所见即所得 1515人机交互与多媒体研究室人机交互与多媒体研究室 16人机交互的发展人机交互的发展3、图形用户界面 二十世纪六十年代，鼠标和图形用户界面 (Graphy User Interface)出现，彻底改变了计算机的历史，GUI的主要特点是桌面隐喻、WIMP（窗口、图标、菜单和指点设备，Window/Icon/Menu/Pointing Device）技术、直接操纵和所见即所得 1616人机交互与多媒体研究室人机交互与多媒体研究室 17人机交互的发展人机交互的发展4、多通道用户界面 使用多个信息交互通道如语音、手势、身体语言与计算机进行通信的用户界面。美国麻省理工大学MIT的“多媒体自然对话”项目中星云系统提供了语音查询界面。1717人机交互与多媒体研究室人机交互与多媒体研究室 18人机交互的发展人机交互的发展5、网络用户界面 二十世纪九十年代，网络用户界面的出现，超文本标记语言（HTML）及超文本传输协议（HTTP）为主要基础的网络浏览器，是网络用户界面的代表，这类人机交互技术的特点是发展快，新的技术不断出现，如搜索引擎、多媒体动画、聊天工具等 1818人机交互与多媒体研究室人机交互与多媒体研究室 19人机交互的发展人机交互的发展6、虚拟现实和三维交互 以虚拟现实为代表的计算机系统的拟人化为交互提供了新的数欧段1919人机交互与多媒体研究室人机交互与多媒体研究室 20人机交互的发展人机交互的发展7、计算机支持的协同工作 CSW标志着计算机从支持个体工作像支持躯体工作的方向发展。（1）协作的用户界面（2）协作过程中的冲突与协调（3）标准与规范2020人机交互与多媒体研究室人机交互与多媒体研究室 212121人机交互与多媒体研究室人机交互与多媒体研究室 22最有影响的事件和成果最有影响的事件和成果 19451945年美国年美国V. BushV. Bush提出了应采用设备或技术来帮提出了应采用设备或技术来帮助科学家检索、记录、分析及传输各种信息的新助科学家检索、记录、分析及传输各种信息的新思路和名为思路和名为“ “MemexMemex” ”的一种工作站构想。的一种工作站构想。19631963年美国麻省理工学院年美国麻省理工学院I.SutherlandI.Sutherland开创了计算开创了计算机图形学的新领域，而获机图形学的新领域，而获19881988年年ACMACM图灵奖。他图灵奖。他还在还在19681968年开发了头盔式立体显示器，成为现代年开发了头盔式立体显示器，成为现代虚拟现实技术的重要基础。虚拟现实技术的重要基础。 2222人机交互与多媒体研究室人机交互与多媒体研究室 23最有影响的事件和成果最有影响的事件和成果 19631963年发明鼠标器的美国斯坦福研究所的年发明鼠标器的美国斯坦福研究所的 D.EngelbartD.Engelbart，他预言鼠标器比其他输入设备，他预言鼠标器比其他输入设备都好，并在超文本系统、导航工具方面做了都好，并在超文本系统、导航工具方面做了杰出的成果杰出的成果(Augmented Human Intellect (Augmented Human Intellect project )project )，而获，而获19971997年年ACMACM图灵奖。图灵奖。1010年后年后鼠标器经不断改进，成为影响当代计算机使鼠标器经不断改进，成为影响当代计算机使用的最重要成果。用的最重要成果。 2323人机交互与多媒体研究室人机交互与多媒体研究室 24最有影响的事件和成果最有影响的事件和成果7070年代年代XeroxXerox研究中心的研究中心的Alan KayAlan Kay提出了提出了SmalltalkSmalltalk面面向对象程序设计等思想，并向对象程序设计等思想，并发明了重叠式多窗口系统。发明了重叠式多窗口系统。19891989年年Tim Berners-LeeTim Berners-Lee在在日内瓦的日内瓦的CERNCERN用用HTMLHTML及及HTTPHTTP开发了开发了WWWWWW网，随网，随后出现了各种浏览器（网络后出现了各种浏览器（网络用户界面），使互联网飞速用户界面），使互联网飞速发展起来。发展起来。2424人机交互与多媒体研究室人机交互与多媒体研究室 25最有影响的事件和成果最有影响的事件和成果9090年代美国麻省理工学院年代美国麻省理工学院N.NegroponteN.Negroponte领导的媒体领导的媒体实验室在新一代多通道用实验室在新一代多通道用户界面方面（包括语音、户界面方面（包括语音、手势、智能体等），做了手势、智能体等），做了大量开创性的工作。大量开创性的工作。9090年代美国年代美国XeroxXerox公司公司PARCPARC的首席科学家的首席科学家Mark Mark WeiserWeiser首先提出首先提出“ “无所不无所不在计算（在计算（Ubiquitous Ubiquitous ComputingComputing）” ”思想思想 。 2525人机交互与多媒体研究室人机交互与多媒体研究室 26三 进展2626人机交互与多媒体研究室人机交互与多媒体研究室 27人机交互技术的进展人机交互技术的进展1.自然、高效的多通道交互 2.人机交互模型和设计方法 3.虚拟现实和三维交互 4.可穿戴计算机和移动手持设备的人机交互 5.智能空间及智能用户界面 6.标准化及其它 2727人机交互与多媒体研究室人机交互与多媒体研究室 281。自然、高效的多通道交互2828人机交互与多媒体研究室人机交互与多媒体研究室 29通道与多通道交互通道与多通道交互多通道交互多通道交互(Multi-Modal Interaction)(Multi-Modal Interaction)：一种使用：一种使用多种通道与计算机通信的人机交互方式。采用这多种通道与计算机通信的人机交互方式。采用这种方式的计算机用户界面称为种方式的计算机用户界面称为“ “多通道用户界面多通道用户界面” ”。 通道通道(Modality)(Modality)：源于心理学的概念，涵盖了用户：源于心理学的概念，涵盖了用户表达意图、执行动作或感知反馈信息的各种通信表达意图、执行动作或感知反馈信息的各种通信方法，如言语、眼神、脸部表情、唇动、手动、方法，如言语、眼神、脸部表情、唇动、手动、手势、头动、肢体姿势、触觉、嗅觉或味觉等。手势、头动、肢体姿势、触觉、嗅觉或味觉等。 2929人机交互与多媒体研究室人机交互与多媒体研究室 30多通道交互多通道交互多通道交互是近年来迅速发展的一种人机交互技多通道交互是近年来迅速发展的一种人机交互技术，它既适应了术，它既适应了“ “以人为中心以人为中心” ”的自然交互准则，的自然交互准则，也推动了互联网时代信息产业（包括移动计算，也推动了互联网时代信息产业（包括移动计算，移动通信、网络服务器等）的快速发展。移动通信、网络服务器等）的快速发展。多通道交互的各类通道（界面）技术中，有不少多通道交互的各类通道（界面）技术中，有不少已经实用化、产品化、商品化。其中我国科技人已经实用化、产品化、商品化。其中我国科技人员做出了不少优异的工作。员做出了不少优异的工作。 3030人机交互与多媒体研究室人机交互与多媒体研究室 31手写汉字识别手写汉字识别中科院自动化所开发的中科院自动化所开发的“ “汉王笔汉王笔” ”手写汉字识别手写汉字识别系统，经过近系统，经过近2020年的研究和开发，已能识别年的研究和开发，已能识别2700027000汉字，当用非草写汉字、以每分钟汉字，当用非草写汉字、以每分钟1212个汉个汉字的速度书写时，识别率可达字的速度书写时，识别率可达99.8%99.8%。我国现在。我国现在已约有已约有300300万手写汉字识别系统的用户。万手写汉字识别系统的用户。 3131人机交互与多媒体研究室人机交互与多媒体研究室 323232人机交互与多媒体研究室人机交互与多媒体研究室 33数字墨水技术数字墨水技术微软亚洲研究院多通道用户界面组发明的数字墨微软亚洲研究院多通道用户界面组发明的数字墨水技术水技术，采用全新易操纵的笔交互设备、高质量采用全新易操纵的笔交互设备、高质量的墨水绘制技术、智慧的墨迹分析技术等，使它的墨水绘制技术、智慧的墨迹分析技术等，使它不仅可用作为文字识别、图形绘制的输入，而且不仅可用作为文字识别、图形绘制的输入，而且作为一种全新的作为一种全新的“ “Ink”Ink”数据模型，使手写笔记更数据模型，使手写笔记更易阅读、获取、组织和使用。数字墨水技术已作易阅读、获取、组织和使用。数字墨水技术已作为产品，结合在微软的为产品，结合在微软的Tablet PC Tablet PC 操作系统中，产操作系统中，产生了巨大的社会影响。它还将继续发展，有可能生了巨大的社会影响。它还将继续发展，有可能成为新一代优秀的自然交互设备成为新一代优秀的自然交互设备 。3333人机交互与多媒体研究室人机交互与多媒体研究室 343434人机交互与多媒体研究室人机交互与多媒体研究室 35笔式交互技术笔式交互技术 在笔式交互技术研究中，中国科学院软件所人机在笔式交互技术研究中，中国科学院软件所人机交互技术与智能信息处理实验室在笔式交互软件交互技术与智能信息处理实验室在笔式交互软件开发平台、面向教学的笔式办公套件（包括课件开发平台、面向教学的笔式办公套件（包括课件制作、笔式授课、笔式数学公式计算器、笔式简制作、笔式授课、笔式数学公式计算器、笔式简谱制作等）、面向儿童的神笔马良系统的开发应谱制作等）、面向儿童的神笔马良系统的开发应用方面均有出色的工作，其中不少已经实用化、用方面均有出色的工作，其中不少已经实用化、产品化。产品化。 3535人机交互与多媒体研究室人机交互与多媒体研究室 36基于笔的字处理基于笔的字处理 EasyEditor3636人机交互与多媒体研究室人机交互与多媒体研究室 37手写数学公式手写数学公式3737人机交互与多媒体研究室人机交互与多媒体研究室 38中文语音识别中文语音识别 IBM/Via VoiceIBM/Via Voice连续中文语音识别系统经过不断改连续中文语音识别系统经过不断改进，已广泛应用于进，已广泛应用于Office/XPOffice/XP的中文版等办公软件的中文版等办公软件和应用软件中，在中文语音识别领域有重要影响。和应用软件中，在中文语音识别领域有重要影响。中国科学院自动化所中国科学院自动化所“ “汉语连续语音听写系统汉语连续语音听写系统” ”的特点是建立了基于决策树的上下文相关模型；的特点是建立了基于决策树的上下文相关模型；针对连续语音中声调之间的协同发音问题，建立针对连续语音中声调之间的协同发音问题，建立了相应的变调模型；建立了与识别系统配套的自了相应的变调模型；建立了与识别系统配套的自适应平台，降低适应平台，降低35%35%左右音节误识率；提出了领左右音节误识率；提出了领域自适应方法，通过较少的领域语料，可得到较域自适应方法，通过较少的领域语料，可得到较好的领域自适应模型和字典好的领域自适应模型和字典 3838人机交互与多媒体研究室人机交互与多媒体研究室 393939人机交互与多媒体研究室人机交互与多媒体研究室 40语音合成技术语音合成技术 语音合成技术就是让电脑会说话的技术.语语 音音 合合 成成 的的 研研 究究 已已 经经 进进 入入 文文 字字 语语 音音 转转 换（换（TTSTTS） 阶阶 段，段， 其其 功功 能能 模模 块块 可可 分分 为为 文文 本本 分分 析、析、 韵韵 律律 建建 模模 和和 语语 音音 合合 成成 三三 大大 模模 块。块。 其其 中，中， 语语 音音 合合 成成 是是TTS TTS 系系 统统 中中 最最 基基 本、本、 最最 重重 要要 的的 模模 块块 基音同步叠加（PSOLA）方法 被普遍采用在国家支持下，汉语语音合成取得了显著进展，多在国家支持下，汉语语音合成取得了显著进展，多家国内研究单位都成功开发了自己的语音合成系统。家国内研究单位都成功开发了自己的语音合成系统。4040人机交互与多媒体研究室人机交互与多媒体研究室 4119991999年在国家智能计算机研究开发中心、中国科年在国家智能计算机研究开发中心、中国科技大学人机语音通信实验室的基础上组建的科大技大学人机语音通信实验室的基础上组建的科大讯飞公司在汉语语音合成技术领域已达到了国际讯飞公司在汉语语音合成技术领域已达到了国际先进水平。先进水平。 最近中国科技大学又推出了最近中国科技大学又推出了KD-2000KD-2000汉语文语转汉语文语转换系统，不仅在语音合成技术方面有进一步的发换系统，不仅在语音合成技术方面有进一步的发展，特别是在文本预处理中围绕层次化结构思想，展，特别是在文本预处理中围绕层次化结构思想，运用大量的统计和规则的方法，较好地解决了三运用大量的统计和规则的方法，较好地解决了三个大的处理环节：特殊符号处理，分词处理和拼个大的处理环节：特殊符号处理，分词处理和拼接处理，使得汉语文语转换系统的整体性能有很接处理，使得汉语文语转换系统的整体性能有很大提高大提高 语音合成技术语音合成技术 4141人机交互与多媒体研究室人机交互与多媒体研究室 42语音语音 和和 笔笔上述成果表明，作为人类最重要的自然通道上述成果表明，作为人类最重要的自然通道语音和笔的交互技术，包括手写识别、数字墨水、语音和笔的交互技术，包括手写识别、数字墨水、笔交互、语音识别、语音合成等通道技术，近年笔交互、语音识别、语音合成等通道技术，近年来已有显著的进步，我国的不少成果已具有国际来已有显著的进步，我国的不少成果已具有国际先进水平，并达到了一定的产业规模。先进水平，并达到了一定的产业规模。虽然语音和笔（手势）通道因其自身的特点，在虽然语音和笔（手势）通道因其自身的特点，在抗干扰、准确度等方面仍嫌不足，但它们在多通抗干扰、准确度等方面仍嫌不足，但它们在多通道整合、领域受限应用等配合下，最有希望成为道整合、领域受限应用等配合下，最有希望成为新一代实用的自然交互技术。新一代实用的自然交互技术。 4242人机交互与多媒体研究室人机交互与多媒体研究室 43手语识别和合成手语识别和合成 中国科学院计算所研制成功了基于多功能感知中国科学院计算所研制成功了基于多功能感知的中国手语识别与合成系统，它采用数据手套可识的中国手语识别与合成系统，它采用数据手套可识别大词汇量（别大词汇量（51775177个）的手语词。个）的手语词。该系统建立了中国手语词库。对于给定文本句该系统建立了中国手语词库。对于给定文本句子子( (可由正常人话语转换而成可由正常人话语转换而成) )，自动合成相应的人，自动合成相应的人体运动数据。最后用计算机人体动画技术，将运动体运动数据。最后用计算机人体动画技术，将运动数据应用于虚拟人，由虚拟人完成合成的手语运动。数据应用于虚拟人，由虚拟人完成合成的手语运动。它可输出大词汇量的手语词，为中国聋哑人的它可输出大词汇量的手语词，为中国聋哑人的教育、生活提供了有用的辅助工具，使他们用手语教育、生活提供了有用的辅助工具，使他们用手语与正常人的交流成为可能。与正常人的交流成为可能。 4343人机交互与多媒体研究室人机交互与多媒体研究室 44视线跟踪（眼动）技术视线跟踪（眼动）技术 视线跟踪（眼动）技术由于其可能代替键盘输入、视线跟踪（眼动）技术由于其可能代替键盘输入、鼠标移动的功能，可能达到鼠标移动的功能，可能达到“ “所视即所得所视即所得” ”(What (What You Look at is What You Get),You Look at is What You Get),因而对残疾人和飞因而对残疾人和飞行员等使用有极大的吸引力。行员等使用有极大的吸引力。视线跟踪技术，一是研究高质量的眼动跟踪设备，视线跟踪技术，一是研究高质量的眼动跟踪设备，二是如何构造易于操作的用户界面。二是如何构造易于操作的用户界面。 眼动跟踪设备有强迫式与非强迫式、穿戴式与非眼动跟踪设备有强迫式与非强迫式、穿戴式与非穿戴式、接触式与非接触式之分穿戴式、接触式与非接触式之分 。眼动跟踪设备的精度和对用户的限制和干扰是一眼动跟踪设备的精度和对用户的限制和干扰是一对尖锐的矛盾。对尖锐的矛盾。 4444人机交互与多媒体研究室人机交互与多媒体研究室 45视线跟踪（眼动）技术视线跟踪（眼动）技术目前一类产品是采用头戴微目前一类产品是采用头戴微型摄像头的设备，它用来获取两型摄像头的设备，它用来获取两眼瞳孔（或角膜）中视点。其采眼瞳孔（或角膜）中视点。其采样率、精度高，可靠。样率、精度高，可靠。 另一类是在另一类是在PCPC机前机前装了两个微型摄像头的设装了两个微型摄像头的设备，精度不高，适合残疾备，精度不高，适合残疾人操作计算机使用。人操作计算机使用。4545人机交互与多媒体研究室人机交互与多媒体研究室 46眼球运动控制电脑根据人眼眼球运动的特点和形式。在人眼解剖学和生理学研究的基础上，根据控制眼球运动的神经回路，建立了可实现人眼功能的仿生型机器人眼三维眼球运动控制系统的数学模型。4646人机交互与多媒体研究室人机交互与多媒体研究室 47“ “注视用户界面注视用户界面(Attentive User Interfaces, AUI) ”(Attentive User Interfaces, AUI) ”4747人机交互与多媒体研究室人机交互与多媒体研究室 48触觉通道的力反馈装置触觉通道的力反馈装置 新一代力反馈感应技术主要有新一代力反馈感应技术主要有TouchSenseTouchSense触觉感触觉感应技术应技术和和G-Force G-Force TilteTilte动作感应技术动作感应技术两种。两种。TouchSenseTouchSense触觉感应技术主要用在鼠标触觉感应技术主要用在鼠标/ /轨迹球轨迹球等产品中，而动作感应技术等产品中，而动作感应技术(G-Force (G-Force TilteTilte) )则主要则主要用在动感游戏控制器中。用在动感游戏控制器中。 用在非游戏的高精度触觉反馈装置中，最著名的用在非游戏的高精度触觉反馈装置中，最著名的是由是由MITMIT人工智能实验室人工智能实验室Massie and SalisburyMassie and Salisbury开开发、美国发、美国SensAbleSensAble Technologies Technologies 公司生产的公司生产的PhantomPhantom触觉反馈（触觉反馈（6 6自由度）设备和自由度）设备和 GhostGhost软软件开发包。由于高精度，它已广泛用于军事、医件开发包。由于高精度，它已广泛用于军事、医学、机器人、教学、虚拟现实等各类应用中。学、机器人、教学、虚拟现实等各类应用中。4848人机交互与多媒体研究室人机交互与多媒体研究室 49 这个触觉设备仅在一个接触点而不是许多不同接触点上模这个触觉设备仅在一个接触点而不是许多不同接触点上模拟触觉信号。它通过连接在机械臂上的触针来实现这一目拟触觉信号。它通过连接在机械臂上的触针来实现这一目的。三个小型发动机在触针上施加压力，从而将力度反馈的。三个小型发动机在触针上施加压力，从而将力度反馈给使用者。因此，使用者可以感受到虚拟气球的弹性，或给使用者。因此，使用者可以感受到虚拟气球的弹性，或是砖墙的坚硬。他也可以感受到这些物体的材质、温度和是砖墙的坚硬。他也可以感受到这些物体的材质、温度和重量。重量。触觉通道的力反馈装置触觉通道的力反馈装置4949人机交互与多媒体研究室人机交互与多媒体研究室 50生物特征识别技术生物特征识别技术生物特征识别技术生物特征识别技术(Biometrics)(Biometrics)是受到广泛关注的一是受到广泛关注的一类新兴识别技术。类新兴识别技术。早期通过对人的指纹识别来确定人的身份，因而指早期通过对人的指纹识别来确定人的身份，因而指纹识别被广泛应用于安全、公安等部门。纹识别被广泛应用于安全、公安等部门。随着反恐斗争的日显重要，各国正在对其他人体特随着反恐斗争的日显重要，各国正在对其他人体特征进行广泛研究，希望尽快找到快速、准确、方便、征进行广泛研究，希望尽快找到快速、准确、方便、廉价的身份识别方法。廉价的身份识别方法。眼睛虹膜、掌纹、笔迹、步眼睛虹膜、掌纹、笔迹、步态、语音、人脸、态、语音、人脸、DNADNA等的人类特征研究和开发正等的人类特征研究和开发正引起政府、企业、研究单位的广泛注意。引起政府、企业、研究单位的广泛注意。 5050人机交互与多媒体研究室人机交互与多媒体研究室 51掌形识别掌形识别5151人机交互与多媒体研究室人机交互与多媒体研究室 52人脸识别人脸识别XID 人脸识别技术可重构人脸识别技术可重构3D画面画面 5252人机交互与多媒体研究室人机交互与多媒体研究室 535353人机交互与多媒体研究室人机交互与多媒体研究室 54中科院人脸识别技术成功中科院人脸识别技术成功用于用于奥运会开幕式奥运会开幕式5454人机交互与多媒体研究室人机交互与多媒体研究室 55虹膜识别虹膜识别虹膜是人体中一个最具有独特性的特征器官。虹膜独特的图样在人出生后的10个月时间内便完全形成，并且一生中都将保持不变。而且由于虹膜的复杂，想要找到两个特征相同的虹膜基本上是不可能的。在这一点上，虹膜识别的安全性远高于指纹识别 5555人机交互与多媒体研究室人机交互与多媒体研究室 565656人机交互与多媒体研究室人机交互与多媒体研究室 57唇读、人脸表情识别唇读、人脸表情识别 唇读、人脸表情识别是又一个人机交互技术的热唇读、人脸表情识别是又一个人机交互技术的热点。点。唇读将人们说话的语音和嘴唇变化的形态结合起唇读将人们说话的语音和嘴唇变化的形态结合起来，以便更准确地获取人们表达的意图、感情和来，以便更准确地获取人们表达的意图、感情和愿望等。愿望等。人脸表情识别的模型和方法也在不断改进。人脸表情识别的模型和方法也在不断改进。 5757人机交互与多媒体研究室人机交互与多媒体研究室 58英国研制出可以分辨不同语言的唇读计算机英国研制出可以分辨不同语言的唇读计算机 ，通，通过对过对2323位掌握两种或三种语言的人的唇部动作进位掌握两种或三种语言的人的唇部动作进行统计建模而开发的。识别单个讲话者所说的语行统计建模而开发的。识别单个讲话者所说的语言，很高的准确性。言，很高的准确性。5858人机交互与多媒体研究室人机交互与多媒体研究室 59人脸表情识别人脸表情识别人脸跟踪与表情识别系统人脸跟踪与表情识别系统 中国科学院自动化研究所模式识别国家重点实验室 5959人机交互与多媒体研究室人机交互与多媒体研究室 60自然语言理解自然语言理解始终是自然人机交互的最重要目标，自然语言理解始终是自然人机交互的最重要目标，虽然目前在语言模型、语料库、受限领域应用等虽然目前在语言模型、语料库、受限领域应用等方面均有进展外，由于它的难度（自然语言的不方面均有进展外，由于它的难度（自然语言的不规范性等），自然语言理解仍是计算机科学家和规范性等），自然语言理解仍是计算机科学家和语言学家的一个长项研究目标。语言学家的一个长项研究目标。 6060人机交互与多媒体研究室人机交互与多媒体研究室 61多通道的整合问题多通道的整合问题 多通道的整合问题是多通道交互的一个核心研究多通道的整合问题是多通道交互的一个核心研究内容。内容。 19951995年由北京大学、杭州大学、中科院软件所承年由北京大学、杭州大学、中科院软件所承担的自然基金重点项目担的自然基金重点项目“ “多通道用户界面研究多通道用户界面研究” ”是当时我国最大的是当时我国最大的HCIHCI项目，探索了多通道用户项目，探索了多通道用户界面的模型、设计、实现、评估和应用，取得了界面的模型、设计、实现、评估和应用，取得了重要的成果。重要的成果。6161人机交互与多媒体研究室人机交互与多媒体研究室 62多通道交互的标准工作多通道交互的标准工作20022002年年2 2月月W3CW3C国际组织成立了国际组织成立了“ “多通道交互多通道交互” ”工作小组（工作小组（Multimodal Interaction Working Multimodal Interaction Working GroupGroup），它开发），它开发W3CW3C新的一类支持移动设备多新的一类支持移动设备多通道交互的协议标准。通道交互的协议标准。目前它已开展了五项标准的制订，并已在互联网目前它已开展了五项标准的制订，并已在互联网上发布不同阶段的正式草稿，供补充、完善。上发布不同阶段的正式草稿，供补充、完善。uu多通道交互框架（多通道交互框架（Multimodal Interaction FrameworkMultimodal Interaction Framework）uu多通道交互需求（多通道交互需求（Multimodal Interaction RequirementsMultimodal Interaction Requirements）uu多通道交互用例（多通道交互用例（Multimodal Interaction Use CasesMultimodal Interaction Use Cases）uu可扩展多通道注释语言需求（可扩展多通道注释语言需求（EMMA-Extensible EMMA-Extensible MultiModalMultiModal Annotation Annotation language Requirementslanguage Requirements）uu数字墨水需求（数字墨水需求（Ink RequirementsInk Requirements）6262人机交互与多媒体研究室人机交互与多媒体研究室 632。人机交互模型和设计方法6363人机交互与多媒体研究室人机交互与多媒体研究室 64人机交互模型和设计方法人机交互模型和设计方法 模型在人机交互领域中十分重要，用得很多，类模型在人机交互领域中十分重要，用得很多，类型也很多。型也很多。 一类是从系统的结构出发，讨论界面在系统中的一类是从系统的结构出发，讨论界面在系统中的地位和分解，我们称它为地位和分解，我们称它为“ “界面结构模型界面结构模型界面结构模型界面结构模型” ”。其。其典型的例子是将界面分成三部分（表示部件、对典型的例子是将界面分成三部分（表示部件、对话控制、应用接口）的话控制、应用接口）的SeeheimSeeheim模型。模型。另一类是从系统设计的角度来了解用户的另一类是从系统设计的角度来了解用户的“ “用户用户用户用户特性模型特性模型特性模型特性模型” ”。它分析不同用户的特点，以提高系。它分析不同用户的特点，以提高系统的针对性和适应性，增强界面个性化和提高效统的针对性和适应性，增强界面个性化和提高效率。其典型例子是按照用户对系统、领域的知识、率。其典型例子是按照用户对系统、领域的知识、经验、技能的不同，将用户分为偶然、生疏、熟经验、技能的不同，将用户分为偶然、生疏、熟练、专家型等四类用户。练、专家型等四类用户。 6464人机交互与多媒体研究室人机交互与多媒体研究室 65行为模型的一种用户任务分析模型用户任务分析模型GOMS 从认知科学出发，分析用户如何和计算机互动的从认知科学出发，分析用户如何和计算机互动的“ “人人人人机交互模型机交互模型机交互模型机交互模型” ”，即行为模型即行为模型即行为模型即行为模型。 GOMS(Goal, Operator, Methods, Selection rule)GOMS(Goal, Operator, Methods, Selection rule)模模型型这个模型的理论基础是认知心理学家创立的这个模型的理论基础是认知心理学家创立的问题解决理论问题解决理论 。6565人机交互与多媒体研究室人机交互与多媒体研究室 66CPM-GOMS模型模型19961996年美国卡内奇年美国卡内奇- -梅隆大学的梅隆大学的B. John B. John 等又在等又在GOMSGOMS模型的基础上进一步提出了模型的基础上进一步提出了CPM(Cognitive Perceptual Motor)-GOMSCPM(Cognitive Perceptual Motor)-GOMS模型。模型。这是一个并行处理的多层次模型这是一个并行处理的多层次模型, ,它也称作它也称作“ “关键关键路径方法路径方法” ”。CPM-GOMSCPM-GOMS模型从人的因素处理器模型从人的因素处理器各个层面上提供感知、认知和运动的操作功能，各个层面上提供感知、认知和运动的操作功能，它可以在任务的要求下进行并行操作，可以同时它可以在任务的要求下进行并行操作，可以同时执行多个活动目标。执行多个活动目标。 6666人机交互与多媒体研究室人机交互与多媒体研究室 67以用户为中心的设计方法以用户为中心的设计方法“ “以用户为中心的设计以用户为中心的设计” ”(User (User CentredCentred Design, Design, UCD)UCD)方法近年来已被国际上广泛采用。方法近年来已被国际上广泛采用。主要特征：主要特征：主要设计活动：主要设计活动： 用户的积极参与，对用户及其任务要求的清楚了解用户的积极参与，对用户及其任务要求的清楚了解 在用户和技术之间适当分配功能在用户和技术之间适当分配功能 反复设计解决方案反复设计解决方案 多学科设计多学科设计 了解并确定使用背景了解并确定使用背景 确定用户和组织要求确定用户和组织要求 提出设计解决方案提出设计解决方案 根据要求评价设计根据要求评价设计6767人机交互与多媒体研究室人机交互与多媒体研究室 68基于剧情的设计方法基于剧情的设计方法 J. CarrollJ. Carroll的的“ “基于剧情的设计方法基于剧情的设计方法” ”（Scenario-Based Scenario-Based DesignDesign）目前在具体交互设计中被广泛使用）目前在具体交互设计中被广泛使用 。该方法从用户的观点详细地给出：该方法从用户的观点详细地给出：由于该方法符合人的认知过程，在较高层次上描述了用户由于该方法符合人的认知过程，在较高层次上描述了用户的意图，又便于实现，因而在大量交互系统设计中被采用。的意图，又便于实现，因而在大量交互系统设计中被采用。 交互过程的全部角色（人、设备、数据源、系统等）交互过程的全部角色（人、设备、数据源、系统等） 各种场景的假设各种场景的假设 剧情的描述剧情的描述 某种形式（如用事件表来刻画用户动作、设备响应、事件叙述、事件处理、某种形式（如用事件表来刻画用户动作、设备响应、事件叙述、事件处理、动作结果等）的人机对话逐步分解动作结果等）的人机对话逐步分解 其他各种条件（如：协议，同步，例外事件等）其他各种条件（如：协议，同步，例外事件等）6868人机交互与多媒体研究室人机交互与多媒体研究室 69基于知识的概念模型基于知识的概念模型近年来采用上下文、基于知识的概念模型逐渐受近年来采用上下文、基于知识的概念模型逐渐受人重视。人重视。这种建模方法吸取了这种建模方法吸取了“ “以用户为中心的设计以用户为中心的设计” ”方方法和法和“ “基于剧情的设计方法基于剧情的设计方法” ”的一些特点，期望的一些特点，期望在更高层次上建模。在更高层次上建模。6969人机交互与多媒体研究室人机交互与多媒体研究室 70 3。虚拟现实和三维交互7070人机交互与多媒体研究室人机交互与多媒体研究室 71虚拟现实和三维交互设备虚拟现实和三维交互设备立体眼镜立体眼镜 头盔式显示器（头盔式显示器（HMDHMD） 双目全方位监视器（双目全方位监视器（BOOMBOOM） 墙式显示屏的自动声像虚拟环境（墙式显示屏的自动声像虚拟环境（CAVECAVE）三维鼠标三维鼠标 三维跟踪球三维跟踪球 三维游戏杆三维游戏杆头动位置检测器头动位置检测器 数据手套数据手套 数据衣服数据衣服 三维显示设备三维输入设备位置跟踪设备7171人机交互与多媒体研究室人机交互与多媒体研究室 72虚拟现实和三维交互设备虚拟现实和三维交互设备三维扫描设备：三维扫描设备：三维扫描设备：三维扫描设备：有接触式和非有接触式和非接触式、手持和固定、不同精接触式、手持和固定、不同精度之分，可按不同应用环境和度之分，可按不同应用环境和精度要求来选取。为使用方便，精度要求来选取。为使用方便，非接触式三维手持激光扫描仪非接触式三维手持激光扫描仪很受一般用户青睐。很受一般用户青睐。 l触觉和力反馈装置：触觉和力反馈装置已经有大触觉和力反馈装置：触觉和力反馈装置已经有大批不同价位的产品出现在市场，成为军事、医学、批不同价位的产品出现在市场，成为军事、医学、游戏等应用领域的新型交互设备。游戏等应用领域的新型交互设备。 7272人机交互与多媒体研究室人机交互与多媒体研究室 73三维扫描仪三维扫描仪7373人机交互与多媒体研究室人机交互与多媒体研究室 74真真”三维三维Volumetric显示器显示器7474人机交互与多媒体研究室人机交互与多媒体研究室 75虚拟现实和三维交互设备虚拟现实和三维交互设备三维显示界面：多伦多大学和三维显示界面：多伦多大学和Alias Alias WavefrontWavefront公公司合作研究的新三维显示界面，采用了新型的司合作研究的新三维显示界面，采用了新型的“ “真真” ”三维三维VolumetricVolumetric显示器。它不需要戴立体眼镜或显示器。它不需要戴立体眼镜或戴上装有显示器的头盔，而是直接用肉眼看到真戴上装有显示器的头盔，而是直接用肉眼看到真三维效果。三维效果。7575人机交互与多媒体研究室人机交互与多媒体研究室 76名为HOLOCUBE的公司发布了一款桌面全息三维显示器。它利用先进的的全息投影技术在一个“小盒子”里面投影出三维影像，从而为人们提供最为真实的三维视频。 7676人机交互与多媒体研究室人机交互与多媒体研究室 77IO2的气体投影系统，可的气体投影系统，可以在空气中投影出三维以在空气中投影出三维画面。画面。7777人机交互与多媒体研究室人机交互与多媒体研究室 78虚拟现实和三维交互设备虚拟现实和三维交互设备无障碍虚拟现实环境无障碍虚拟现实环境无障碍虚拟现实环境无障碍虚拟现实环境：由于数字摄像技术在价格：由于数字摄像技术在价格和精度方面的快速发展，同时由于各种识别技术和精度方面的快速发展，同时由于各种识别技术的进展，目前采用多方位、多角度、多台数字摄的进展，目前采用多方位、多角度、多台数字摄像机构建的无障碍虚拟现实环境（智能空间，像机构建的无障碍虚拟现实环境（智能空间，Smart XSmart X），已广泛用于室内条件下的虚拟现实系），已广泛用于室内条件下的虚拟现实系统（如；智能办公室，智能教室等）。统（如；智能办公室，智能教室等）。各类三维交互设备仍有相当的发展空间，尤其是各类三维交互设备仍有相当的发展空间，尤其是在可靠性、价格、性能等方面需不断改进。在可靠性、价格、性能等方面需不断改进。 非强制、无障碍、高精度、低价格是今后交互设非强制、无障碍、高精度、低价格是今后交互设备的发展趋势。备的发展趋势。 7878人机交互与多媒体研究室人机交互与多媒体研究室 79虚拟现实和三维交互设备虚拟现实和三维交互设备北京航空航天大学等六单位联合承担的北京航空航天大学等六单位联合承担的“ “分布式分布式虚拟现实应用系统开发与支撑环境虚拟现实应用系统开发与支撑环境” ”是我国第一是我国第一个大型虚拟现实研究项目，取得了优异的成果。个大型虚拟现实研究项目，取得了优异的成果。 浙江大学浙江大学CADCAD图形学国家重点实验室在图形学国家重点实验室在CAVECAVE设设备上，做了许多创新的研究工作。备上，做了许多创新的研究工作。7979人机交互与多媒体研究室人机交互与多媒体研究室 80CAVE虚拟现实环境 CAVE设备8080人机交互与多媒体研究室人机交互与多媒体研究室 81 4。可穿戴计算机和 移动手持设备的人机交互8181人机交互与多媒体研究室人机交互与多媒体研究室 82可穿戴计算机可穿戴计算机可穿戴计算机可广泛应用于在野外的作业。它设计的主要可穿戴计算机可广泛应用于在野外的作业。它设计的主要问题是，如何在有限的工作空间内提供各种信息工具的无问题是，如何在有限的工作空间内提供各种信息工具的无缝集成。为了达到这个目的，系统必须通过一种自然、非缝集成。为了达到这个目的，系统必须通过一种自然、非强制的方法来提供功能，以便让用户的注意力集中在手上强制的方法来提供功能，以便让用户的注意力集中在手上的任务，而不是被系统所分心。的任务，而不是被系统所分心。在可穿戴计算机的人机交互中，应特别重视自然的多通道在可穿戴计算机的人机交互中，应特别重视自然的多通道界面（如语音、视线跟踪、手势等）、上下文感知应用界面（如语音、视线跟踪、手势等）、上下文感知应用（如位置、环境条件、身份等传感器）、经验的自动捕捉（如位置、环境条件、身份等传感器）、经验的自动捕捉及访问（如采用增强现实及访问（如采用增强现实ARAR的的see-throughsee-through头盔显示来头盔显示来交流信息）。交流信息）。在我国，哈尔滨工业大学、重庆大学等单位已成立了研究在我国，哈尔滨工业大学、重庆大学等单位已成立了研究组织，进行可穿戴计算新技术和产品的研究开发。组织，进行可穿戴计算新技术和产品的研究开发。 8282人机交互与多媒体研究室人机交互与多媒体研究室 838383人机交互与多媒体研究室人机交互与多媒体研究室 84中国电子科技大学的工作人员在展示可穿戴计算机的目镜显示器和多功能摄像头。这套可穿戴计算机由便携主机、目镜显示器、多功能摄像头、单握式键盘等部分组成，总重量不超过1500克 8484人机交互与多媒体研究室人机交互与多媒体研究室 85移动手持设备的交互移动手持设备的交互移动手持计算设备移动手持计算设备是指具有计算功能的是指具有计算功能的PDAPDA、掌、掌上电脑、智能手机这类小型设备。将计算功能嵌上电脑、智能手机这类小型设备。将计算功能嵌入手机、通信功能加入掌上电脑已成潮流。入手机、通信功能加入掌上电脑已成潮流。 移动计算环境下的人机交互的特点：移动计算环境下的人机交互的特点： p必须自然交互，自然感知。p应充分利用上下文感知的特点，自动简化信息的复杂性。p重视不同设备、不同网络、不同平台之间的无缝过度和可扩展性。 8585人机交互与多媒体研究室人机交互与多媒体研究室 86移动手持设备的交互移动手持设备的交互北京大学人机交互和多媒北京大学人机交互和多媒体研究室，开发了移动导体研究室，开发了移动导游系统游系统TGHTGH，对移动设备，对移动设备多通道交互框架、上下文多通道交互框架、上下文感知的设计实现、移动互感知的设计实现、移动互联网上联网上Client/ServerClient/Server结构结构对语音和笔通道整合的处对语音和笔通道整合的处理等进行广泛的研究，并理等进行广泛的研究，并取得了一定的成果。取得了一定的成果。8686人机交互与多媒体研究室人机交互与多媒体研究室 875。智能空间及智能用户界面8787人机交互与多媒体研究室人机交互与多媒体研究室 88智能空间及智能用户界面智能空间及智能用户界面 智能空间智能空间（Smart SpaceSmart Space）是指一个嵌入了计算、）是指一个嵌入了计算、信息设备和多通道传感器的工作空间。信息设备和多通道传感器的工作空间。由于在智能空间里，用户能方便地访问信息和获由于在智能空间里，用户能方便地访问信息和获得计算机的服务，因而可高效地单独工作或与他得计算机的服务，因而可高效地单独工作或与他人协同工作。人协同工作。 8888人机交互与多媒体研究室人机交互与多媒体研究室 89智能空间及智能用户界面智能空间及智能用户界面国际上已开展了许多智能空间的项目国际上已开展了许多智能空间的项目lMIT Intelligent RoomlStanfordInteractive Workspace lGeorgia Tech. Aware Home lUIUC Active Space lMicrosoft EasyLiving lIBMBlue Space lGMD iLand l清华大学智能教室8989人机交互与多媒体研究室人机交互与多媒体研究室 90MIT Intelligent Room9090人机交互与多媒体研究室人机交互与多媒体研究室 91清华大学 智能教室9191人机交互与多媒体研究室人机交互与多媒体研究室 92智能空间及智能用户界面智能空间及智能用户界面将智能技术结合到用户界面中，而构成将智能技术结合到用户界面中，而构成“ “智能用智能用智能用智能用户界面户界面户界面户界面（Intelligent User Interface, IUIIntelligent User Interface, IUI）” ”。智能。智能技术是它的核心。智能用户界面的最终目标是使技术是它的核心。智能用户界面的最终目标是使人机交互成为和人人机交互成为和人- -人交互一样自然、方便。人交互一样自然、方便。智能环境智能环境智能环境智能环境是指用户界面的宿主系统所处的环境应是指用户界面的宿主系统所处的环境应该是智能的。智能环境的特点是它的隐蔽性、自该是智能的。智能环境的特点是它的隐蔽性、自感知性、多通道性及强调物理空间的存在。智能感知性、多通道性及强调物理空间的存在。智能空间是空间是“ “智能环境智能环境” ”的一种。的一种。 9292人机交互与多媒体研究室人机交互与多媒体研究室 93智能空间及智能用户界面智能空间及智能用户界面上下文上下文上下文上下文(Context)(Context)是指计算系统运行环境中的一组是指计算系统运行环境中的一组状态或变量，其中的某些状态和变量可以直接改状态或变量，其中的某些状态和变量可以直接改变系统的行为，而另一些则可能引起用户兴趣从变系统的行为，而另一些则可能引起用户兴趣从而通过用户影响系统行为。而通过用户影响系统行为。 上下文感知计算上下文感知计算上下文感知计算上下文感知计算是指系统自动的对上下文、上下是指系统自动的对上下文、上下文变化以及上下文历史进行感知和应用，根据它文变化以及上下文历史进行感知和应用，根据它调整自身的行为。调整自身的行为。 上下文感知是提高计算智能性的重要途径。上下文感知是提高计算智能性的重要途径。 9393人机交互与多媒体研究室人机交互与多媒体研究室 94智能空间及智能用户界面智能空间及智能用户界面AgentAgent是一个计算性的独立系统，它具有以下特征：是一个计算性的独立系统，它具有以下特征：智能体智能体(agents)(agents)在智能技术中具有极其重要的作用。在智能技术中具有极其重要的作用。SRISRI提出的开放智能体结构提出的开放智能体结构(Open Agent Architecture(Open Agent Architecture，OAA)OAA)和和OGIOGI提出的提出的AAA(adaptive agent architecture)AAA(adaptive agent architecture)是当是当今开发多今开发多agentagent系统使用得比较广泛的两个通用框架。系统使用得比较广泛的两个通用框架。 具有感知外界环境的能力具有对环境有自动采取行动的能力具有成功（最优）地达到目的的能力具有有关于周围环境的一部分知识9494人机交互与多媒体研究室人机交互与多媒体研究室 95 6。标准化及其它9595人机交互与多媒体研究室人机交互与多媒体研究室 96标准化及其它标准化及其它 在人机交互领域在人机交互领域ISOISO已正式发布了许多的国际标已正式发布了许多的国际标准：准：我们国家标准化管理委员会已经或正在制订相应我们国家标准化管理委员会已经或正在制订相应的国家标准，以便推动我国的标准化工作，为我的国家标准，以便推动我国的标准化工作，为我国经济发展服务。国经济发展服务。 ISO 10075:1991 人类工效学与心理负荷相关的术语人类工效学与心理负荷相关的术语ISO 6385:1981 工作系统设计的人类工效学原则工作系统设计的人类工效学原则ISO/IEC 10741:1995 信息技术信息技术系统用户界面系统用户界面交互对话交互对话ISO/IEC 11581:2000 信息技术信息技术系统用户界面系统用户界面图标符号及功能图标符号及功能ISO 13406:(1999-2001)使用平板视觉显示器工作的人类工效学要求使用平板视觉显示器工作的人类工效学要求ISO 9241:(1992-2000) 使用视觉显示终端办公的人类工效学要求使用视觉显示终端办公的人类工效学要求ISO 13407:1999 以人为中心的交互系统设计过程以人为中心的交互系统设计过程9696人机交互与多媒体研究室人机交互与多媒体研究室 97标准化及其它标准化及其它在工业设计中运用可用性工程是近年来为国际上在工业设计中运用可用性工程是近年来为国际上所公认。所公认。所谓所谓“ “可用性可用性可用性可用性” ”是指是指“ “某产品在特定使用背景下，某产品在特定使用背景下，为特定用户、用于特定目的时，所具有的有效性、为特定用户、用于特定目的时，所具有的有效性、效率和满意度。在效率和满意度。在ISO 9241-11ISO 9241-11可用性指南中对如可用性指南中对如何实施何实施“ “可用性可用性” ”给出了原则和指南。给出了原则和指南。 9797人机交互与多媒体研究室人机交互与多媒体研究室 98四 挑战9898人机交互与多媒体研究室人机交互与多媒体研究室 99挑战挑战1。无所不在的计算2。虚拟现实和科学计算可视化3。图形用户界面4。Moore定律5。眼花缭乱的新名词9999人机交互与多媒体研究室人机交互与多媒体研究室 1001。无所不在的计算。无所不在的计算无所不在的计算（无所不在的计算（Ubiquitous Computing, Ubiquitous Computing, UbiCompUbiComp) )当人类对某些事物掌握得足够好的时候，这些事当人类对某些事物掌握得足够好的时候，这些事物就会和我们生活不可分，我们就会慢慢不觉得物就会和我们生活不可分，我们就会慢慢不觉得它的存在。它的存在。将来计算机会看不见，而计算会无所不在，不可将来计算机会看不见，而计算会无所不在，不可见的人机交互也会无所不在的。就像我们时刻呼见的人机交互也会无所不在的。就像我们时刻呼吸着的氧气一样，我们看不见却可以体验到。吸着的氧气一样，我们看不见却可以体验到。 100100人机交互与多媒体研究室人机交互与多媒体研究室 1011。无所不在的计算。无所不在的计算五个五个”any”any”无所不在的计算强调把计算机嵌入到环境或日常无所不在的计算强调把计算机嵌入到环境或日常工具中去，而将人们的注意中心集中在任务本身。工具中去，而将人们的注意中心集中在任务本身。 l laccess Any bodyaccess Any bodyl lAny thingAny thingl lAny-whereAny-wherel lat Any timeat Any timel lvia Any devicevia Any device 101101人机交互与多媒体研究室人机交互与多媒体研究室 1022。虚拟现实和科学计算可视化。虚拟现实和科学计算可视化大型虚拟环境和科学可视化系统，均需构造三维大型虚拟环境和科学可视化系统，均需构造三维交互环境，但目前的手段还是头盔加手套，十分交互环境，但目前的手段还是头盔加手套，十分不便。不便。当多人协同或远距离操作时，有相当多的问题需当多人协同或远距离操作时，有相当多的问题需要解决。要解决。 有实用前景的增强现实有实用前景的增强现实(Augmented Reality, AR)(Augmented Reality, AR)也有许多问题（如被动观察、简单浏览、同步配也有许多问题（如被动观察、简单浏览、同步配合等）要解决合等）要解决 。102102人机交互与多媒体研究室人机交互与多媒体研究室 1033。图形用户界面。图形用户界面图形用户界面不会被替代，而是会被增强图形用户界面不会被替代，而是会被增强图形用户界面将在以下几方面继续发展：图形用户界面将在以下几方面继续发展： l从直接控制到非直接控制（smart X, agents, 前面提到的SUI）l从二维到三维视感l更准确的语音、手势识别l高质量的触觉反馈设备l更方便的界面开发工具l增强“智能代理”功能l用视频摄像来识别用户的身份、位置、眼动和姿势。 103103人机交互与多媒体研究室人机交互与多媒体研究室 1044。Moore定律定律计算机的运算速度、存储能力、以至整体计算能计算机的运算速度、存储能力、以至整体计算能力一直在按照力一直在按照MooreMoore定律成倍翻新。定律成倍翻新。另一方面，人的认知能力（包括记忆、理解能力）另一方面，人的认知能力（包括记忆、理解能力）是不随时间成倍增长的。因此人和计算机的交互是不随时间成倍增长的。因此人和计算机的交互就会存在严重的不平衡就会存在严重的不平衡 。人机交互技术，从本质上讲，是为了减轻人的认人机交互技术，从本质上讲，是为了减轻人的认知负荷，增强人类的感觉通道和动作通道的能力。知负荷，增强人类的感觉通道和动作通道的能力。 104104人机交互与多媒体研究室人机交互与多媒体研究室 105五 结论105105人机交互与多媒体研究室人机交互与多媒体研究室 106结论结论1. 1. 以以WIMPWIMP为代表的为代表的图形用户界面将继续使用和发图形用户界面将继续使用和发展展，尤其是在办公室、家庭中广泛应用。，尤其是在办公室、家庭中广泛应用。 2.2.人机交互将呈现出人机交互将呈现出多样化多样化的特点。桌面和非桌面的特点。桌面和非桌面界面、可见和不可见界面将同时共存。网络和计界面、可见和不可见界面将同时共存。网络和计算将进入家庭和生活，人们可用多种简单的自然算将进入家庭和生活，人们可用多种简单的自然方式进行人机交互。方式进行人机交互。 3.3.以不可见、可移动为特征的以不可见、可移动为特征的无所不在计算无所不在计算和以三和以三维、沉浸为特征的维、沉浸为特征的虚拟现实环境虚拟现实环境，将是人机交互，将是人机交互面临的重大挑战和研究目标。面临的重大挑战和研究目标。 106106人机交互与多媒体研究室人机交互与多媒体研究室 107结论结论4.4.人机交互是一门综合学科，它的发展需要计算机人机交互是一门综合学科，它的发展需要计算机硬件、软件、网络、认知心理学、人类工效学等硬件、软件、网络、认知心理学、人类工效学等多学科多学科共同努力。共同努力。5.5.当前当前人机交互的研究热点人机交互的研究热点： 自然、高效、无障碍的多通道交互技术；自然、高效、无障碍的多通道交互技术； 新的交互设备、智能技术、交互软件和平台；新的交互设备、智能技术、交互软件和平台； 无缝的不同网络互联；无缝的不同网络互联； 以认知科学为基础的交互模型和设计方法；以认知科学为基础的交互模型和设计方法； 上下文感知的计算模型上下文感知的计算模型；107107人机交互与多媒体研究室人机交互与多媒体研究室 108以下列有关多媒体技术的相关领域为主题，以下列有关多媒体技术的相关领域为主题，翻译外文文献，要求译文达翻译外文文献，要求译文达30003000字以上（要字以上（要求手工翻译，不建议使用翻译软件进行全文求手工翻译，不建议使用翻译软件进行全文翻译）翻译）1.多媒体硬件系统多媒体硬件系统 1 1班班2.多媒体数据压缩编码多媒体数据压缩编码 2 2班班3.多媒体人机交互技术多媒体人机交互技术 3 3班班4.虚拟现实技术虚拟现实技术 4 4班班5.分布式多媒体技术分布式多媒体技术 201201班班6.多媒体数据管理技术多媒体数据管理技术 202202班班108108人机交互与多媒体研究室人机交互与多媒体研究室