网站使用七牛云存储之后的Robots.Txt该如何设置?

启用七牛之后，发现了2个问题：

①、WordPress的Ajax评论无法使用了；

②、纠结存在七牛的静态图片是否要禁用搜索引擎的抓取和收录。

对于问题①：

很好解决，如下修改comments-ajax.js即可：

对于问题②：

这有是一个老生常谈的问题，但是每次都会比较纠结！但比较肯定的是，对于七牛这种类似镜像站的域名，还是禁止抓取比较好！否则就会导致收录重复。

七牛的空间，创建时默认会有一个robots，禁止所有搜索引擎抓取，内容如下：

直接使用这个robots，对SEO肯定是没问题的，避免了搜索引擎抓取到重复的内容。但是，有个小缺憾，使用这个robots之后，以前百度和360搜索结果中的缩略图都会被K掉。因为你的图片被禁止抓取了！

所以，我对放置在七牛空间的robots如下改造（推荐使用）：

意思很简单，就是允许百度和360抓取文章中的图片，其他搜索引擎一律禁止抓取！

这样做的好处是：

①、在避免搜索引擎收录七牛重复内容的同时，允许其收录文章的特色图片和内容配图；

②、禁止抓取可以极大的节省七牛空间的GET次数，因为搜索引擎的每一次抓取都将产生一次GET，而七牛免费空间的GET次数是有限制的，我们完全没必要白白浪费。

直接上传到七牛空间，访问即可看到效果。