[已收录]

网站使用七牛云存储之后的Robots.Txt该如何设置?

启用七牛之后,发现了2个问题:

①、WordPress的Ajax评论无法使用了;

②、纠结存在七牛的静态图片是否要禁用搜索引擎的抓取和收录。

对于问题①:

很好解决,如下修改comments-ajax.js即可:

对于问题②:

这有是一个老生常谈的问题,但是每次都会比较纠结!但比较肯定的是,对于七牛这种类似镜像站的域名,还是禁止抓取比较好!否则就会导致收录重复。

七牛的空间,创建时默认会有一个robots,禁止所有搜索引擎抓取,内容如下:

直接使用这个robots,对SEO肯定是没问题的,避免了搜索引擎抓取到重复的内容。但是,有个小缺憾,使用这个robots之后,以前百度和360搜索结果中的缩略图都会被K掉。因为你的图片被禁止抓取了!

所以,我对放置在七牛空间的robots如下改造(推荐使用):

意思很简单,就是允许百度和360抓取文章中的图片,其他搜索引擎一律禁止抓取!

这样做的好处是:

①、在避免搜索引擎收录七牛重复内容的同时,允许其收录文章的特色图片和内容配图;

②、禁止抓取可以极大的节省七牛空间的GET次数,因为搜索引擎的每一次抓取都将产生一次GET,而七牛免费空间的GET次数是有限制的,我们完全没必要白白浪费。

网站使用七牛云存储之后的Robots.Txt该如何设置?

直接上传到七牛空间,访问即可看到效果。

免责申明:
1. 本站所有教程、文章或资源分享目的仅供大家学习和交流,可进群讨论!
2. 如有无法查看或链接失效,烦请报告联系管理员处理!
3. 本站无法保证资源或其时效性,恕不接受任何提问。
4. 欢迎大家帮助本站出力,赞助费用仅维持本站的日常运营所需!故不接受任何形式的退款。
5. 百码云无法保证文章教程或资源的完善与安全,请自行检测解决。
6. 在本站下载的源码严禁杜绝任何形式的正式商业用途,请去程序官方购买。
百码云资源站仅提供学习的平台,所有资料均来自于网络,版权归原创者所有!本站不提供任何保证,并不承担任何法律责任,如果对您的版权或者利益造成损害,请提供相应的资质证明,我们将于3个工作日内予以删除。本作品采用BY-NC-SA 4.0 《国际知识共享署名许可协议4.0》 进行许可 。
百码云 » 网站使用七牛云存储之后的Robots.Txt该如何设置?

提供最优质的资源集合

关于VIP 站内帮助