第7章 搜索引擎及搜索引擎优化(SEO)-1,内容提要,引言实例说明 搜索引擎网络蜘蛛,引言,引言,搜索引擎是网络营销第一工具。 搜索引擎营销(Search Engine Marketing,简称SEM) 是一种新的网络营销形式。 SEM所做的就是全面而有效的利用搜索引擎来进行网络营销和推广。SEM追求最高的性价比，以最小的投入，获取最大的来自搜索引擎的访问量，并产生商业价值。这里的SEM不包括竞价排名、购买关键词广告等付费手段。,引言,实例说明,SEO实例项目（真实系统，开发中）http:/www.chinasa.info (中国系统架构师之家)目标：中国最专业的系统架构师信息平台和学习平台主要栏目：网站首页、架构新闻、架构文章、架构学习、架构图书、架构专家、架构资源、架构实例、架构论坛、关于我们等主要涉及领域：面向对象分析与设计、软件架构设计、需求工程、设计模式、UML、重构、项目管理、系统架构设计师等,搜索引擎,搜索引擎,因特网包括成千上万的网站，涉及数以亿计的资源。因此需要通过搜索引擎来快速定位到所需资源，搜索引擎技术对网站的运营具有非常重要的意义。搜索引擎对于大型网站的产品推广是很重要的；搜索引擎自然排名与付费广告相结合效果更明显；尽可能多的网页被搜索引擎收录比仅有网站首页在自然搜索结果排名靠前更有价值。,搜索引擎,李彦宏,搜索引擎,拉里佩奇(Larry Page)与 赛吉布林(Sergey Brin),搜索引擎,基本事实 人们都是用搜索引擎查找网站的。 人们通常使用书签访问或收藏他们所喜欢的网站。 网站必须快速并保持最新。 网站应该保护用户的隐私，便于用户导航。 “瓶颈”问题。（网速） 人们不愿意为网站冲浪付费。,搜索引擎,搜索引擎发展历程 搜索引擎进化时间轴,搜索引擎,搜索引擎定义 搜索引擎(Search Engine)是指根据一定的策略、运用特定的计算机程序收集互联网上的信息，在对信息进行组织和处理后，并将处理后的信息显示给用户，是为用户提供检索服务的系统。,搜索引擎,搜索引擎定义,搜索引擎,搜索引擎分类全文搜索引擎 全文搜索引擎是名副其实的搜索引擎，国外代表有Google，国内则有著名的百度搜索。它们从互联网提取各个网站的信息（以网页文字为主），建立起数据库，并能检索与用户查询条件相匹配的记录，按一定的排列顺序返回结果。 根据搜索结果来源的不同，全文搜索引擎可分为两类，一类拥有自己的网页抓取、索引、检索系统（Indexer），有独立的“蜘蛛”（Spider）程序、或爬虫（Crawler）、或“机器人”（Robot）程序（这三者意义相同），能自建网页数据库，搜索结果直接从自身的数据库中调用，上面提到的Google和百度就属于此类；另一类则是租用其他搜索引擎的数据库，并按自定的格式排列搜索结果，如Lycos搜索引擎。,搜索引擎,搜索引擎分类全文搜索引擎 全文搜索引擎从网站提取信息并建立网页数据库。 当用户以关键词查找信息时，搜索引擎会在数据库中进行搜寻，如果找到与用户要求内容相符的网站，便采用特殊的算法通常根据网页中关键词的匹配程度，出现的位置/频次，链接质量等计算出各网页的相关度及排名等级，然后根据关联度高低，按顺序将这些网页链接返回给用户。 这种引擎它的特点是搜全率比较高。,搜索引擎,搜索引擎分类全文搜索引擎 搜索引擎的自动信息搜集功能分两种： 一种是定期搜索，即每隔一段时间（比如Google一般是28天），搜索引擎主动派出“蜘蛛”程序，对一定IP地址范围内的互联网站进行检索，一旦发现新的网站，蜘蛛搜索引擎会自动提取网站的信息和网址加入自己的数据库。 另一种是提交网站搜索，即网站拥有者主动向搜索引擎提交网址，它在一定时间内（2天到数月不等）定向向你的网站派出“蜘蛛”程序，扫描你的网站并将有关信息存入数据库，以备用户查询。由于近年来搜索引擎索引规则发生了很大变化，主动提交网址并不保证你的网站能进入搜索引擎数据库，因此目前最好的办法是多获得一些外部链接(反向链接)，让搜索引擎有更多机会找到你并自动将你的网站收录。,搜索引擎,搜索引擎分类全文搜索引擎,搜索引擎,搜索引擎分类目录索引 目录索引，顾名思义就是将网站分门别类地存放在相应的目录中，因此用户在查询信息时，可选择关键词搜索，也可按分类目录逐层查找。如以关键词搜索，返回的结果跟搜索引擎一样，也是根据信息关联程度排列网站，只不过其中人为因素要多一些。如果按分层目录查找，某一目录中网站的排名则是由标题字母的先后顺序决定（也有例外）。,搜索引擎,搜索引擎分类目录索引 目录索引虽然有搜索功能，但严格意义上不能称为真正的搜索引擎，只是按目录分类的网站链接列表而已。用户完全可以按照分类目录找到所需要的信息，不依靠关键词（Keywords）进行查询。目录索引中最具代表性的是Yahoo、新浪分类目录搜索。,搜索引擎,搜索引擎分类目录索引 目前，搜索引擎与目录索引有相互融合渗透的趋势。原来一些纯粹的全文搜索引擎现在也提供目录搜索，如Google就借用Open Directory目录提供分类查询。而像 Yahoo! 这些老牌目录索引则通过与Google等搜索引擎合作扩大搜索范围。在默认搜索模式下，一些目录类搜索引擎首先返回的是自己目录中匹配的网站，如国内搜狐、新浪、网易等；而另外一些则默认的是网页搜索，如Yahoo。 这种引擎的特点是查找的准确率比较高。,搜索引擎,搜索引擎分类元搜索引擎 元搜索引擎（Meta Search Engine）接受用户查询请求后，同时在多个搜索引擎上搜索，并将结果返回给用户。著名的元搜索引擎有InfoSpace、Dogpile、Vivisimo等，中文元搜索引擎中具代表性的是搜星搜索引擎（曾经）。在搜索结果排列方面，有的直接按来源排列搜索结果，如Dogpile；有的则按自定的规则将结果重新排列组合，如Vivisimo。,搜索引擎,搜索引擎分类元搜索引擎,搜索引擎,搜索引擎分类垂直搜索引擎 垂直搜索引擎为2006年后逐步兴起的一类搜索引擎。不同于通用的网页搜索引擎，垂直搜索专注于特定的搜索领域和搜索需求（例如：机票搜索、旅游搜索、生活搜索、小说搜索、视频搜索等等），在其特定的搜索领域有更好的用户体验。相比通用搜索动辄数千台检索服务器，垂直搜索需要的硬件成本低、用户需求特定、查询的方式多样。,搜索引擎,搜索引擎工作原理,抓取网页,处理网页,提供检索服务,搜索引擎,搜索引擎工作原理 1. 抓取网页 每个独立的搜索引擎都有自己的网页抓取程序（spider，蜘蛛程序）。Spider顺着网页中的超链接，连续地抓取网页，被抓取的网页被称之为网页快照。由于互联网中超链接的应用很普遍，理论上，从一定范围的网页出发，就能搜集到绝大多数的网页。,搜索引擎,搜索引擎工作原理 2. 处理网页 搜索引擎抓到网页后，还要做大量的预处理工作，才能提供检索服务。其中，最重要的就是提取关键词，建立索引文件，其他还包括去除重复网页、分词（中文）、判断网页类型、分析超链接、计算网页的重要度/丰富度等。,搜索引擎,搜索引擎工作原理 3. 提供检索服务 用户输入关键词进行检索，搜索引擎从索引数据库中找到匹配该关键词的网页；为了用户便于判断，除了网页标题和URL外，还会提供一段来自网页的摘要以及其他信息。,搜索引擎,搜索引擎组成部分 搜索引擎一般由搜索器、索引器、检索器和用户接口四个部分组成： 搜索器：其功能是在互联网中漫游，发现和搜集信息； 索引器：其功能是理解搜索器所搜索到的信息，从中抽取出索引项，用于表示文档以及生成文档库的索引表； 检索器：其功能是根据用户的查询在索引库中快速检索文档，进行相关度评价，对将要输出的结果排序，并能按用户的查询需求合理反馈信息； 用户接口(HTML页面)：其作用是接纳用户查询、显示查询结果、提供个性化查询项。,搜索引擎,搜索引擎组成部分,搜索引擎,搜索引擎组成部分 搜索器 搜索器的功能是在互联网中漫游，发现和搜集信息。它常常是一个计算机程序，日夜不停地运行，它要尽可能多、尽可能快地搜集各种类型的新信息，同时因为互联网上的信息更新很快，所以还要定期更新已经搜集过的旧信息，以避免死连接和无效连接。目前有两种搜集信息的策略： (1) 从一个起始URL集合开始，顺着这些URL中的超链（Hyperlink），以宽度优先、深度优先或启发式方式循环地在互联网中发现信息。这些起始URL可以是任意的URL，但常常是一些非常流行、包含很多链接的站点（如Yahoo！）。 (2) 将Web空间按照域名、IP地址或国家域名划分，每个搜索器负责一个子空间的穷尽搜索。,搜索引擎,搜索引擎组成部分 搜索器 搜索器搜集的信息类型多种多样，包括HTML、XML、Newsgroup文章、FTP文件、字处理文档、多媒体信息。 搜索器的实现常常使用分布式、并行计算技术，以提高信息发现和更新的速度。商业搜索引擎的信息发现可以达到每天几百万网页。,搜索引擎,搜索引擎组成部分 索引器 索引器的功能是理解搜索器所搜索的信息，从中抽取出索引项，用于表示文档以及生成文档库的索引表。 索引项有客观索引项和内容索引项两种：客观项与文档的语意内容无关，如作者名、URL、更新时间、编码、长度、链接流行度（Link Popularity）等等；内容索引项是用来反映文档内容的，如关键词及其权重、短语、单词等等。,搜索引擎,搜索引擎组成部分 索引器 内容索引项可以分为单索引项和多索引项（或称短语索引项）两种。单索引项对于英文来讲是英语单词，比较容易提取，因为单词之间有天然的分隔符（空格）；对于中文等连续书写的语言，必须进行词语的切分（分词技术）。 在搜索引擎中，一般要给单索引项赋与一个权值，以表示该索引项对文档的区分度，同时用来计算查询结果的相关度。使用的方法一般有统计法、信息论法和概率法。短语索引项的提取方法有统计法、概率法和语言学法。,搜索引擎,搜索引擎组成部分 索引器 索引表一般使用某种形式的倒排表（Inversion List），即由索引项查找相应的文档。索引表也可能要记录索引项在文档中出现的位置，以便检索器计算索引项之间的相邻或接近关系（proximity）。 索引器可以使用集中式索引算法或分布式索引算法。当数据量很大时，必须实现即时索引（Instant Indexing），否则不能够跟上信息量急剧增加的速度。索引算法对索引器的性能（如大规模峰值查询时的响应速度）有很大的影响。一个搜索引擎的有效性在很大程度上取决于索引的质量。,搜索引擎,搜索引擎组成部分 检索器 检索器的功能是根据用户的查询在索引库中快速检出文档，进行文档与查询的相关度评价，对将要输出的结果进行排序，并实现某种用户相关性反馈机制。 检索器常用的信息检索模型有集合理论模型、代数模型、概率模型和混合模型四种。,搜索引擎,搜索引擎组成部分 用户接口 用户接口的作用是输入用户查询、显示查询结果、提供用户相关性反馈机制。主要的目的是方便用户使用搜索引擎，高效率、多方式地从搜索引擎中得到有效、及时的信息。用户接口的设计和实现使用人机交互的理论和方法，以充分适应人类的思维习惯。,搜索引擎,搜索引擎组成部分 用户接口 用户输入接口可以分为简单接口和复杂接口两种。 简单接口只提供用户输入查询串的文本框；复杂接口可以让用户对查询进行限制，如逻辑运算（与、或、非）、相近关系（相邻、NEAR）、域名范围（如.edu、.com）、出现位置（如标题、内容）、信息时间、长度等等。目前一些公司和机构正在考虑制定查询选项的标准。,搜索引擎,搜索引擎市场 2010年4月12日，艾瑞咨询发布的中国搜索引擎市场份额报告显示，2009年全球搜索引擎市场规模达339.0亿美元。中国搜索引擎市场规模达69.6亿元（约合10.2亿美元），相比2008年的50.3亿元年同比增长38.5%。预计2010年中国搜索引擎市场规模将呈现45%左右的增幅。 2009年中国网页搜索请求量规模为2033.8亿次，年同比增长35.7%。自2007年中国列于全球搜索请求量首位以来，其在全球市场的领先优势持续强化：2007年至2009年，中国搜索请求量规模在全球请求量规模中占比分别为15.6%、19.7%和20.6%。,