wordpress用七牛镜像后robots.txt应该如何设置

七牛官方有给出标准的robots.txt,但是是屏蔽了所以的抓取。其实图片还是可以让搜索引擎抓取的,我这里主要针对百度和360写了一个。推荐个大家使用。

 

把放置在七牛空间的robots改为:

 # robots.txt for statice domain
User-agent: Baiduspider
Allow: /wp-content/uploads/*.jpg$
Allow: /wp-content/uploads/*.png$
Disallow: /
 
User-agent: 360Spider
Allow: /wp-content/uploads/*.jpg$
Allow: /wp-content/uploads/*.png$
Disallow: /
 
User-agent: Baiduspider-image
Allow: /wp-content/uploads/*.jpg$
Allow: /wp-content/uploads/*.png$
Disallow: /
 
User-agent: 360Spider-Image
Allow: /wp-content/uploads/*.jpg$
Allow: /wp-content/uploads/*.png$
Disallow: /
 
User-agent: *
Disallow: /
意思是允许百度和360抓取文章中的图片,其他搜索引擎一律禁止抓取!我的站是这样设置的。你们酌情考虑。

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: