云上资源 网站使用七牛云存储之后的Robots.Txt该如何设置?
启用七牛之后，发现了2个问题：
①、WordPress的Ajax评论无法使用了；
②、纠结存在七牛的静态图片是否要禁用搜索引擎的抓取和收录。
对于问题①：
很好解决，如下修改comments-ajax.js即可：
var i = 0, got = -1, len = document.getElementsByTagName('script').length;
while ( i <= len && got == -1){
var js_url = document.getElementsByTagName('script')[i].src,
got = js_url.indexOf('comments-ajax.js'); i++ ;
}
#新增如下行，前面是七牛空间地址，后面是博客地址
js_url = js_url.replace('cdn.xhsay.com','www.xhsay.com');
对于问题②：
这有是一个老生常谈的问题，但是每次都会比较纠结！但比较肯定的是，对于七牛这种类似镜像站的域名，还是禁止抓取比较好！否则就会导致收录重复。
七牛的空间，创建时默认会有一个robots，禁止所有搜索引擎抓取，内容如下：
Disallow: / User-agent: Sosospider Disallow: / User-agent: sogou spider Disallow: / User-agent: YodaoBot Disallow: / User-agent: Googlebot Disallow: / User-agent: Bingbot Disallow: / User-agent: Slurp Disallow: / User-agent: MSNBot Disallow: / User-agent: googlebot-image Disallow: / User-agent: googlebot-mobile Disallow: / User-agent: yahoo-blogs/v3.9 Disallow: / User-agent: psbot Disallow: / User-agent: * Disallow: /
直接使用这个robots，对SEO肯定是没问题的，避免了搜索引擎抓取到重复的内容。但是，有个小缺憾，使用这个robots之后，以前百度和360搜索结果中的缩略图都会被K掉。因为你的图片被禁止抓取了！
所以，我对放置在七牛空间的robots如下改造（推荐使用）：
# robots.txt for statice domain User-agent: Baiduspider Allow: /wp-content/uploads/*.jpg$ Allow: /wp-content/uploads/*.png$ Disallow: / User-agent: 360Spider Allow: /wp-content/uploads/*.jpg$ Allow: /wp-content/uploads/*.png$ Disallow: / User-agent: Baiduspider-image Allow: /wp-content/uploads/*.jpg$ Allow: /wp-content/uploads/*.png$ Disallow: / User-agent: 360Spider-Image Allow: /wp-content/uploads/*.jpg$ Allow: /wp-content/uploads/*.png$ Disallow: / User-agent: * Disallow: /
意思很简单，就是允许百度和360抓取文章中的图片，其他搜索引擎一律禁止抓取！
这样做的好处是：
①、在避免搜索引擎收录七牛重复内容的同时，允许其收录文章的特色图片和内容配图；
②、禁止抓取可以极大的节省七牛空间的GET次数，因为搜索引擎的每一次抓取都将产生一次GET，而七牛免费空间的GET次数是有限制的，我们完全没必要白白浪费。
直接上传到七牛空间，访问即可看到效果。
免责申明：
1. 本站所有教程、文章分享目的仅供大家学习和交流，资源连接来自于网络，非本站发布，本站也不存储任何资源！
2. 如有无法查看或链接失效，烦请报告联系管理员处理！
3. 本站无法保证资源质量及其时效性，恕不接受任何提问。
4.本站即不保存任何资源，也不对任何链接作品负责，希望大家赞助本站，费用仅维持本站的日常运营所需！
5. 百码云无法保证文章教程或资源的完善与安全，请自行检测解决。
6. 通过本站收集链接的相关资源，严禁杜绝任何形式的正式商业用途，请前往官方购买。
7. 但凡通过本站链接导航下载的任何作品，虽不归本站所有，但在研究学习的前提下，请务必在下载24小时后删除。
百码云资源站仅提供学习的平台，所有资料均来自于网络，版权归原创者所有！本站不提供任何保证，并不承担任何法律责任，如果对您的版权或者利益造成损害，请提供相应的资质证明，我们将于3个工作日内予以删除。本文章采用BY-NC-SA 4.0 《国际知识共享署名许可协议4.0》 进行许可 。
百码云 » 网站使用七牛云存储之后的Robots.Txt该如何设置?
1. 本站所有教程、文章分享目的仅供大家学习和交流，资源连接来自于网络，非本站发布，本站也不存储任何资源！
2. 如有无法查看或链接失效，烦请报告联系管理员处理！
3. 本站无法保证资源质量及其时效性，恕不接受任何提问。
4.本站即不保存任何资源，也不对任何链接作品负责，希望大家赞助本站，费用仅维持本站的日常运营所需！
5. 百码云无法保证文章教程或资源的完善与安全，请自行检测解决。
6. 通过本站收集链接的相关资源，严禁杜绝任何形式的正式商业用途，请前往官方购买。
7. 但凡通过本站链接导航下载的任何作品，虽不归本站所有，但在研究学习的前提下，请务必在下载24小时后删除。
百码云资源站仅提供学习的平台，所有资料均来自于网络，版权归原创者所有！本站不提供任何保证，并不承担任何法律责任，如果对您的版权或者利益造成损害，请提供相应的资质证明，我们将于3个工作日内予以删除。本文章采用BY-NC-SA 4.0 《国际知识共享署名许可协议4.0》 进行许可 。
百码云 » 网站使用七牛云存储之后的Robots.Txt该如何设置?
