网站结构优化（二）,搜索引擎优化,SEO,上节课的内容：,搜索引擎友好的网站设计 避免蜘蛛陷阱 物理及链接结构 清晰导航 子域名和目录,目录 / Content,禁止收录机制 URL设计及网址规范化 复制内容 网站地图 内部链接及权重分配 404页面,目录 / Content,禁止收录机制 URL设计及网址规范化 复制内容 网站地图 内部链接及权重分配 404页面,禁止收录机制,某些页面站长并不希望被收录：,禁止收录机制,确保网页不被收录： robots.txt 文件 meta robots标签 a 标签的 nofollow 属性robots.txt 位于网站根目录的纯文本文件，用于指示搜索引擎禁止抓取网站某些内容或指定允许抓取某些内容。 但是，如果有链接导向被禁止的抓取的页面，其URL还是可能出现在搜索结果，不同搜索引擎处理方法不同。,禁止收录机制,robots不存在或为空都表示可以抓取所有内容。 建议就算允许抓取所有内容，也要建一个空的robots.txt文件。 robots文件由一条条的记录组成，记录之间使用空行分隔。 格式如下： : 例：http:/www.baidu.com/robots.txt,文件名、内容区分大小写,禁止收录机制,robots.txt （详细参见 robots.txt文件写法.doc）$ 通配符，匹配URL结尾字符 User-agent:Baiduspider Allow:.htm$ 允许百度蜘蛛抓取以htm为后缀的URL*通配符，匹配任意个字符 User-agent:* Disallow:*.htm 禁止所有蜘蛛抓取htm文件,禁止收录机制,meta robots标签： 对页面上的所有内容及链接设定是否允许抓取、跟踪使用它可以禁止索引，标签不区分大小写禁止索引，禁止跟踪本页面上的所有链接不允许索引，但允许跟踪页面的链接，可以传递权重,禁止收录机制,nofollow属性： 仅对某一个链接设定是否允许跟踪，告诉蜘蛛这不是站长自己编辑的，不具备信任度。用于博客、论坛的帖子、回复，联系我们、用户条款、登陆等。关于nofollow的争议？,目录 / Content,禁止收录机制 URL设计及网址规范化 复制内容 网站地图 内部链接及权重分配 404页面,URL设计,URL设计应该考虑的问题：,URL设计,URL越短越好,避免太多参数,目录层次尽量少,文件及目录名具有描述性,字母全部小写,URL静态化,URL设计,URL静态化 例： LAMP（Linux+Apache+MySQL+PHP）服务器配置: 启用mod_rewrite模块，如果想把URL：http:/www.domain.com/products.php?id=123 静态化为：http:/www.domain.com/products.php/123 则在.htaccess文件中写入如下代码： RewriteRule /products.php/(0-9+) /products.php?id=&1遵循正则表达式书写规则,URL设计,网址规范化，试比较以下网址,实际上是同一个页面！搜索引擎感到困惑,URL设计,解决网址规范化问题： 所有内部链接保持统一，都指向规范化网址 设置首选域（google 站长、百度使用rewrite） 使用301转向 （主机后台管理、或使用rewrite） 使用canonical标签 提交给搜索引擎的XML地图全部使用规范化网址,表示网址永久转移到另一个地址，搜索引擎对所有可疑转向都很敏感，只有301转向可以传递权重 自己探索：使用.htaccess文件设置301转向,URL设计,解决网址规范化问题： 所有内部链接保持统一，都指向规范化网址 设置首选域 使用301转向 使用canonical标签 提交给搜索引擎的XML地图全部使用规范化网址,在 products.php？item=fish&tid=12&sid=789 网页的头部加上： ,目录 / Content,禁止收录机制 URL设计及网址规范化 复制内容 网站地图 内部链接及权重分配 404页面,复制内容,复制内容的害处： 搜索引擎误判，对原创页面是惩罚 同一个网站内的复制内容会分散权重 在权重不高的情况下挤占原创内容的收录机会 搜索引擎产生怀疑，进行惩罚解决办法： 一个页面只有一个URL 使用robots文件禁止抓取 使用noindex meta robots禁止索引 使用canonical标签,目录 / Content,禁止收录机制 URL设计及网址规范化 复制内容 网站地图 内部链接及权重分配 404页面,网站地图,在robots.txt文件中通知搜索引擎网站地图文件位置 Sitemap:http:/www.domain.com/Sitemap.xml,必需，sitemap协议,可选，最后一次更新时间,可选，文件更新频率,在网站内的权重,目录 / Content,禁止收录机制 URL设计及网址规范化 复制内容 网站地图 内部链接及权重分配 404页面,内部链接及权重分配,不同网站技术不同、功能、网站目标不同，营销方向也不同，需要考虑如下问题： 重点内页（侧栏推荐、促销等） 非必要页面（注册、登陆、联系我们、隐私权政策） 大二级分类（适当增加首页链接） 翻页过多（最好再次分类） 多个入口还是单一入口（根据自身权重及总页面数选择） 相关产品链接 锚文字分布及变化（同义词）,目录 / Content,禁止收录机制 URL设计及网址规范化 复制内容 网站地图 内部链接及权重分配 404页面,404页面,当页面不存在时，返回404代码。404页面定制要注意： 同网站风格保持统一 明确显示错误信息 提供链接选项：地图、首页、重要分类,总结 / Summary,禁止收录机制 URL设计及网址规范化 复制内容 网站地图 内部链接及权重分配 404页面,完成课后练习！,搜索引擎优化,SEO,