资源预览内容
第1页 / 共36页
亲,该文档总共36页,到这儿已超出免费预览范围,如果喜欢就下载吧!
资源描述
自动提供与捕获的信息例如实时捕获的信息关联的内容的制作方法专利名称:自动提供与捕获的信息例如实时捕获的信息关联的内容的制作方法自动提供与捕获的信息例如实时捕获的信息关联的内容相关申请的交叉引用本申请要求 2009 年 3 月 12 日提交的题为 DOCUMENT INTERACTION SYSTEM AND METHOD 的美国临时专利申请No. 61/159757、2009年6月4日提交的题为DOCUMENT INTERACTION, SUCH AS INTERACTION USING A MOBILE DEVICE 的美国临时专利申请No. 61/184273,2010 年 2 月 4 日提交的题为 PROVIDING ADDITIONAL INFORMATION BASED ON CONTENT OF AUDIO DATA, SUCH AS RELEVANT INFORMATION REGARDING TOPICS RAISED IN A LIVE AUDIO STREAM的美国临时专利申请No. 61/301576以及2010年2月4日提交的题为PROVIDING RELEVANT INFORMATION的美国临时专利申请No. 61/301572的优先权,所有这些专利申请通过引用全部合并于此。本申请与2007年9月17 日提交的题为CAPTURE AND DISPLAY OF ANNOTATIONS IN PAPER AND ELECTRONIC DOCUMENTS 的 PCT 申请 No. PCT/EP/2007/008075 ;2010 年 2 月 18 日提交的题为 AUTOMATICALLY CAPTURING INFORMATION, SUCH AS CAPTURING INFORMATION USING A DOCUMENT AWARE DEVICE 的美国专利申请 No. 12/660146 ;2010 年 2 月 18 日提交的题为 INTERACTING WITH RENDERED DOCUMENTS USING A MULT I-FUNCTI ON MOBILE DEVICE, SUCH AS A MOBILE PHONE的美国专利申请No. 12/660151 ;以及2010年2月18日提交的题为 IDENTIFYING DOCUMENTS BY PERFORMING SPECTRAL ANALYSIS ON THE DOCUMENTS 的美国专利申请No. 12/6601 有关,所有这些专利申请通过引用全部合并于此。背景技术:人们不断地接收他们可能感兴趣的信息。信息以从纸质文档(报纸、书籍、杂志等等)到他们周围世界内的其他对象(标志、告示牌、显示器等等)的许多形式呈现。通常,信息至少部分地通过文档上印刷的、通过对象显示的、通过音频或视频流呈现等等的文本而呈现。图IA为示出系统的一些实施例中的信息流的数据流图。图IB为示出系统的一些实施例中的信息流的数据流图。图2为在典型操作环境的情况下包含在系统的典型实现方式中的部件的部件图。图3为示出与系统一起使用的适当捕获设备的框图。图4为示出由用于提供相关信息结合显示该相关信息的系统呈现的样本显示的显示图。图5为示出用于提供与接收的本文相关的信息的例程的流程图。图6为结合存储由系统利用的数据而示出系统使用的数据结构的数据结构图。图7为示出系统运行于其中的环境的框图。图8为示出用于自动地呈现从再现的文档捕获的信息的例程的流程图。图9为示出用于确定与标识的再现的文档关联的内容源的例程的流程图。图10为用于与基于音频的信息交互的部件或模块的框图。图11为示出要基于接收的音频的内容而执行的动作的实例的流程图。图12为示出用于动作、即标识接收的音频中的词语并且基于那些词语提供输出的动作的子例程的实例的例程图。图13为示出用于显示与30分钟时段期间接收的音频内容关联的视觉内容的用户界面的示意图。具体实施例方式综沭本发明人已经认识到,当出于其他目的,例如出于文档生成或信息呈现的目的而提供、 生成、创建和/或传输文本或信息时,搜索、检索(retrieve)和/或显示信息、内容和/或要执行的动作将是有用的。在一些实例中,描述了捕获信息和呈现与捕获的信息关联的内容。系统响应于系统可以观察到的用户提供的、例如键入文本的用户提供的文本而自动地提供相关信息。系统监控提供的文本并且自动地选择文本的一部分,例如主题、对象、句子的动词、从句或者随机或收集的一组单词等等。系统基于文本的选择的部分形成查询,使用该查询选择要搜索的索引,传输对选择的索引的查询,并且接收与查询相关的搜索结果。系统显示这些搜索结果中的至少一个,使得用户可以观看与用户提供的文本相关的信息。在一些实例中,描述了捕获信息和将捕获的信息与不同内容源关联。系统基于从文档捕获的信息来标识再现的文档并且利用该文档作为进入相关内容的一个或多个通道的访问点。系统标识内容源并且与捕获的信息一起提供与内容源关联的信息。在一些实例中,系统提供与从接收的音频信号提取的内容相关的信息。系统接收例如来自收音机的扬声器或者来自在电话呼叫的情况中发生的现场谈话或者来自共享的物理空间的现场音频信号,捕获来自该音频信号的信息,并且执行与捕获的信息关联的动作。执行的动作可以是标识搜索词语并且基于这些词语进行查询或搜索。然后,系统接收与音频内容有关的或关联的信息并且将其输出给用户,例如将其输出给移动设备或者单独的显示设备以便显示给用户。实例情景下面的情景给出公开的技术的可能的应用。本领域的一位普通技术人员将理解,这些情景被提供来教导可以如何实现所公开的技术并且所公开的技术适用于本文未显式描述的其他情景。某个人正在写关于2010世界杯的文章,并且正完成关于东道主国家南非的段落。 集成到该撰稿者使用的字处理器中的系统在该撰稿者完成所述段落的同时连续地更新到处理器的侧面方格中示出的信息的链接。当这个人开始键入句子“作为东道主国家,南非”时,系统显示到包含关于南非的信息的不同站点的链接。当这个人继续句子“. 无需具有资格,并且参赛者将渴望”时,系统显示到各个参赛者的简历和统计资料的链接。当这个人总结句子“开始训练并且建立有凝聚力的单位”时,系统链接到讨论东道主国家在先前的世界杯中面临的挑战的其他文章。某个馆长正在阅读关于惠特尼双年展(Whitney Biennial)的杂志文章,并且有兴趣了解更多。这个馆长使用她的智能电话例如通过拍摄来自该文章的一部分文字的图像来捕获该部分文字。响应于该捕获,系统标识所述文章,标识该文章的“惠特尼双年展”标签并且确定该文章与来自著名艺术评论家的具有类似标签的三篇不同的推特文稿(Twitter feed)关联。系统通过智能电话的显示器呈现这些推特文稿的指示,并且在接收到来自用户的对这些文稿之一的选择时呈现该文稿。某个学生正在听关于十八世纪末期的美国历史的讲座。该学生使用他的移动电话记录该讲座,并且使得系统能够标识和检索可能与讲座中所讲的东西关联的内容。当该学生集中于讲座时,系统为她做笔记,记录和检索讲座中引用的章节、关于讲座中提及的人物的简历等等。例如,在讲座的描述1789年费城和纽约市的相对大小和人口的部分期间,系统标识包含类似信息的图表以及地图的电子版本,并且为该学生获取(retrieve)它们。该学生也可以使用自动生成的内容作为回放她的讲座音频文件的索引。当然,其他的情景(例如与本文描述的方法和技术有关的那些情景)是可能的。现在,将描述系统的各个不同的实施例。下面的描述提供了用于透彻理解并且允许描述这些实施例的特定细节。然而,本领域技术人员将理解,可以在没有这些细节中的许多细节的情况下实施所述系统。此外,一些公知的结构或功能可能没有被详细地示出或描述,以便避免不必要地使各个不同实施例的相关描述模糊不清。下文给出的描述中使用的术语预期以其最广泛的合理方式进行解释,即使它结合本发明的一些特定实施例的详细描述而被使用。特定的术语甚至可能在下文中加以强调; 然而,任何预期以任何限制的方式进行解释的术语都将明显且具体地在该具体实施方式部分中被由此限定。第I部分一引言 1.系统及其用户人们在视觉上吸收(consume)来自再现的(印刷的和显示的)媒体的信息,包括以文本、 图像、视频和其他形式呈现的信息。例如,人们阅读报纸、杂志、图书、博客、文本消息、告示牌、收据、便条等等;浏览照片、绘画、对象、广告等等;以及观看电影、视频、表演、其他人等等。人们同样地在听觉上吸收来自诸如收音机和电视之类的许多来源的信息。事实上,人们简单地通过观察和倾听他们周围的世界而一直接收和吸收信息。这样的信息吸收可以是积极的(用户感知到并且经常参与信息)或者消极的(用户未感知到,但是仍然接收信息)。个人可以有意地获得信息,例如人们经常“拖曳”信息,或者个人可以在信息被“推压”向他们时无意地获得信息(消极吸收)。在某种意义上,人们在其如何与世界交互方面模仿拖曳信息和接收推压的信息的设备(计算机、移动电话和其他设备)。然而,设备不是人,并且当前的设备经常在捕获周围环境中的信息或者接近该设备的信息方面做得不好。本文公开的技术描述了启用和促进设备的感知的系统和方法。该技术可以促进对于接近设备的基于文本的信息的感知、对于接近设备的基于图像的信息的感知、对于接近设备的信息显示(例如再现的文档)的感知等等。使用该公开的技术,设备可以在它们如何与世界交互方面模仿人。尽管在下文中通常描述为与视觉上可感知的文档交互,但是系统同样地可以被配置成收集和处理基于音频的信息。1. 1物理/数字交互实际上,每个物理信息显示与或者可以与附加的数字信息关联。例如,图像可以与描述 (例如元数据)、网页等等关联;单个词可以与定义、维基条目、广告等等关联;文档可以与其电子副本、网页、幻灯片等等关联;地理位置(或者位置处的对象)可以与元数据、图像、关于该位置的信息关联;音频流可以与幻灯片关联;等等。在存在物理信息显示的情况下,系统只需标识该信息显示(或者该信息显示的部分方面,例如该信息显示中的文本)以便获得对于关联信息的访问。系统使得物理信息显示能够充当这样的平台,由该平台创建出包括用户和内容的丰富的数字第三维交互。1.2再现文档的标识在一些情况下,标识再现的文档可以向读者提供对于大量附加信息的访问,这些信息补充文档本身并且丰富读者的体验。对于具有电子副本的每个再现的文档,再现的文档中的部分信息可以用来标识电子副本。在一些实例中,系统捕获并且使用来自再现的文档的文本样本以便标识和定位文档的电子副本。在一些情况下,系统需要的文本样本非常小,因为来自文档的文本的一些词或部分词经常可以用作再现的文档的标识符并且用作其电子副本的链接。此外,系统可以使用这些词以便不仅标识文档,而且标识文档内的位置。因此, 可以使用本文讨论的系统以许多有用的方式关联再现的文档和它们的数字副本。因此,可以使用本文讨论的系统以许多有用的方式关联再现的文档和它们的电子副本。简单地说,当用户扫描再现的文档中的一些词、字符或区域时,系统可以获取电子副本文档或者其某部分,显示电子副本或者其某部分,通过电子邮件将它发送给某个人,购买它,打印它,将它发布到网页,或者执行使得用户能够与文档或相关内容交互的其他动作。例如,用户将他/她的移动设备(及其照相机)悬停在报纸或杂志文章的一部分上方,使得用户的移动设备在该移动设备的触摸屏上显示文章的电子版本,以及向用户提供允许用户进一步与文章交互的选项。在一些情况下,例如当移动设备检测到距文章的特定接近度时,悬停在文章上方可以使得移动设备切换到文档感知或交互模式。系统实现“纸张/数字集成”的这些和许多其他实例,而无需改变为当前的书写、 印刷和出版文档和其他信息显示的过程,从而给予再现的文档和物理对象全新的数字功能层。旦系统将再现的文档中的一段文字与已经建立的特定数字实体关联,系统就能够在该关联上构建巨量的功能。大多数再现的
收藏 下载该资源
网站客服QQ:2055934822
金锄头文库版权所有
经营许可证:蜀ICP备13022795号 | 川公网安备 51140202000112号