WordPress网站robots.txt文件写法的参考案例与模板

原创 明月SEO  2017-03-14 22:02  阅读 1,291 次

前期一篇文章我们讲解到网站robots文件的设置写法,怎么写robot.txt,为什么要写robot.txt,其定义等技术知识,详情参考:网站SEO必会的robots设置 本期我们主要给出robots.txt文件经典的参考案例模板。并对完整的模板案例里面的代码含义进行详细的解读。

一.两套robots.txt文件的模板

1.最快的查看自己网站的robots文件信息方法就是在浏览器中直接输入:http://你的域名/robots.txt,就会显示。明月SEO的WordPress网站robots.txt作为案例模板,浏览器输入:http://www.brightmoonseo.com/robots.txt 显示如下内容:

User-agent: *
Disallow: /*.css$
Disallow: /*.php$
Disallow: /*?*
Disallow: /cgi-sys/
Disallow: /img-sys/
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /*/trackback
Disallow: /feed
Disallow: /*/feed
Disallow: /comments/feed

2.以上是明月SEO根据自己的情况而写,还有更完整的WordPress站点robots.txt文件内容参考案例模板写法如下:

  1. User-agent: *
  2. Disallow: /wp-admin/
  3. Disallow: /wp-content/
  4. Disallow: /wp-includes/
  5. Disallow: /*/comment-page-*
  6. Disallow: /*?replytocom=*
  7. Disallow: /category/*/page/
  8. Disallow: /tag/*/page/
  9. Disallow: /*/trackback
  10. Disallow: /feed
  11. Disallow: /*/feed
  12. Disallow: /comments/feed
  13. Disallow: /?s=*
  14. Disallow: /*/?s=*\
  15. Disallow: /*?*
  16. Disallow: /attachment/

使用方法:新建一个名称为robots.txt文本文件,将上面的内容放进去,然后上传到网站根目录即可。

robots模板

二.robots.txt文件代码的完整写法以及各个代码的含义

完整代码参考上面的第2套代码。写法代码的含义如下:

1、Disallow: /wp-admin/、Disallow: /wp-content/和Disallow: /wp-includes/

用于告诉搜索引擎不要抓取后台程序文件页面。

2、Disallow: /*/comment-page-*和Disallow: /*?replytocom=*

禁止搜索引擎抓取评论分页等相关链接。

3、Disallow: /category/*/page/和Disallow: /tag/*/page/

禁止搜索引擎抓取收录分类和标签的分页。

4、Disallow: /*/trackback

禁止搜索引擎抓取收录trackback等垃圾信息

5、Disallow: /feed、Disallow: /*/feed和Disallow: /comments/feed

禁止搜索引擎抓取收录feed链接,feed只用于订阅本站,与搜索引擎无关。

6、Disallow: /?s=*和Disallow: /*/?s=*\

禁止搜索引擎抓取站内搜索结果

7、Disallow: /*?*(重复动态链接处理优化)

禁止搜索抓取动态页面

产生的原因:

(1)文章分类筛选板块的排列组合会产生很多的动态的重复的链接。  反面案例:兰亭集序一个做外贸的网站, 90W个产品,50W个产品。很大的分类目录,产生了无数的动态链接,然而并没有进行优化处理,后来网站在搜索系挂掉

(2)网站默认每个页面都会有一个动态的页面地址。企业站做了伪静态,一定要配合这个。因为网站程序默认的动态链接也可以打开同一个静态化的网页

重要说明:disallow:/*?* 这只是保守处理优化方法。只是屏蔽,避免重复页面出现,规避了风险,并没有对此类大的问题进行优化。中小网站可以不用再考虑进一步优化,大的网站,很多量级的页面,就需要考虑进一步优化,而不只是屏蔽。

8、Disallow: /attachment/

禁止搜索引擎抓取附件页面,比如毫无意义的图片附件页面。

上面也只是些基本的写法,当然如果你还要深入研究肯定还有很多,不过以上已经够用了。对比以上两套robots.txt的写法,其实明月SEO也是只用了第二套相对系统的写法的一部分而已。

同类推荐:dedecms系统专业robots.txt参考模板和详细的设置方法教程

本文地址:http://www.brightmoonseo.com/basic/link/441.html
关注我们:请关注一下我们的微信公众号:扫描二维码,公众号:明月网络营销
版权声明:本文为原创文章,版权归 明月SEO 所有,欢迎分享本文,转载请保留出处!
西安网站制作

发表评论


表情