完整的WordPress站点robots.txt文件内容如下:

User-agent: *

Disallow: /wp-admin/

Disallow: /inc/

Disallow: /other/

Disallow: page/

Disallow: /tag trackback

Disallow: /feed

Disallow: ?s=*\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\

Disallow: /attachment/

具体使用的时候,请把Sitemap换成贵站的sitemap完整地址!

具体解释如下:

1、Disallow: /wp-admin/、Disallow: /inc/和Disallow: /other/ 用于告诉搜索引擎不要抓取后台程序文件页面。

2、Disallow: page/和Disallow: /tag trackback 禁止搜索引擎抓取收录trackback等垃圾信息

3、Disallow: /feed、Disallow: ?s=*\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\ 禁止搜索引擎抓取站内搜索结果

4、Disallow: /attachment/ 禁止搜索引擎抓取附件页面,比如毫无意义的图片附件页面。

相关新闻

发表评论

您的电子邮箱地址不会被公开。

联系我们

联系我们

151-1101-0018

在线咨询:
邮件:30115776@qq.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信
关注微信
分享本页
返回顶部