很多站长喜欢WordPress来建站,因为更利于SEO优化,蜘蛛爬取网站的时候,一般先查看我们的roobots文件,roobots文件中不允许爬行的文件及文件夹,它就不会去查看,所以我们在做WordPress网站的时候要先设置robots文件。今天就分享wordpress建站教程2:robots的写法。

其实,wordpress已经给网站做了一个默认的tobots,它禁用了它自己的主要核心文件及文件夹不允许蜘蛛访问。但是,我们自己的网站,有时还有其它文件或文件夹要禁止蜘蛛爬行,这时,我们就要对robots文件进行修改。

这里为网站robots的写法做一个简单的解释吧:

User-agent: * 表示允许所有的搜索引擎爬行;

Disallow: /wp-admin/ disallow表示不允许,即不允许爬行wp-admin 这个文件夹 。

Disallow: /wp-* 禁止抓取WordPress程序目录

Disallow: /*.css$ 禁止抓取全站所有css文件

Disallow: /*.js$ 禁止抓取网站所有js文件

Disallow: /*/attachment/* 禁止抓取网站所有附件内容

Disallow: /*/comment-page-* 禁止抓取文章页的评论分页

Sitemap: http://www.wpzt.net/sitemap.html 允许爬行网站地图文件

你也可以参考一下别的知名网站的robots写法,一般都大同小异。

到这里,wordpress网站的robots文件设置方法就结束了。

相关新闻

发表评论

您的电子邮箱地址不会被公开。 必填项已用*标注

联系我们

联系我们

151-1101-0018

在线咨询:
邮件:30115776@qq.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信
关注微信
分享本页
返回顶部