cncn robots具体应该禁止些什么文件
网上robots的写法，说法一大堆，也不知谁对谁错，到底robots该禁止那些文件呢？
今天大概总结一下： 首先说明一点：每天百度派出的蜘蛛是有限的，robots写出来是为了节省蜘蛛资源让蜘蛛能更快的进行有效爬取和收录！
针对企业站来说，本身蜘蛛资源不会很多
，所以我们更要珍惜蜘蛛的每次爬取，让其都有意义，不要去爬取一些无价值的页面，浪费了蜘蛛资源，从而导致网站迟迟未收录，没排名等情况！ 下面举例列出来： 1、模板文件(/template/)可以屏蔽； 2、这个文件/uploads/一般放的是图片，可以屏蔽； 3、/data/系统数据文件，可以屏蔽； 4、/img/或/images/，如果你不是做的图片站，也可以屏蔽； 5、/bin/系统文件可以屏蔽； 6、/install/安装文件可以屏蔽； 7、/member/有会员的可以屏蔽； 8、/logreport/有统计报告的可以屏蔽； 9、/bjk/有加密的文件，可以屏蔽； 10、/js/，/css/可以屏蔽，留着是为了让蜘蛛更好地了解网站结构，资源少的情况下，可以屏蔽。 11、网站地图，sitemap要记得放进去，不要屏蔽，让蜘蛛第一时间去看你的网站地图，更快了解网站链接结构！ 总结到此，希望对大家有些帮助！
文章来源：懒猫seo博客
来源地址：http://www.lanmaoseo.com/seowzyh/6978.html
免责申明：
1. 本站所有下载资源均不包含技术支持和安装服务！需要讨论请进群！
2. 分享目的仅供大家学习和交流，请不要用于商业用途！
3. 如果你也有好源码或者教程，可以到审核区发布，分享有KR奖励和额外收入!
4. 如有链接无法下载、失效或广告，请联系管理员处理！
5. 本站无法保证资源或破解时效性，如某些授权码过期等问题，恕不在修复范围内。
6. 本站资源售价只是赞助，收取费用仅维持本站的日常运营所需！故不接受任何形式的退款，如确认资源确有问题的，会补给相应KR以供再次购买。
7. 53Kr源码暂未发现后门代码，但无法保证100%安全，推荐检测方法：上传到 https://www.virustotal.com/在线查看是否有恶意代码以及其他有后门嫌疑的代码。
8. 在本站下载的源码我还是不建议正式使用，有特别喜欢的可以去程序官方购买。
53kr资源站仅提供学习的平台，所有资料均来自于网络，版权归原创者所有！本站不提供任何保证，并不承担任何法律责任，如果对您的版权或者利益造成损害，请提供相应的资质证明，我们将于3个工作日内予以删除。
53kr资源分享 » robots具体应该禁止些什么文件
1. 本站所有下载资源均不包含技术支持和安装服务！需要讨论请进群！
2. 分享目的仅供大家学习和交流，请不要用于商业用途！
3. 如果你也有好源码或者教程，可以到审核区发布，分享有KR奖励和额外收入!
4. 如有链接无法下载、失效或广告，请联系管理员处理！
5. 本站无法保证资源或破解时效性，如某些授权码过期等问题，恕不在修复范围内。
6. 本站资源售价只是赞助，收取费用仅维持本站的日常运营所需！故不接受任何形式的退款，如确认资源确有问题的，会补给相应KR以供再次购买。
7. 53Kr源码暂未发现后门代码，但无法保证100%安全，推荐检测方法：上传到 https://www.virustotal.com/在线查看是否有恶意代码以及其他有后门嫌疑的代码。
8. 在本站下载的源码我还是不建议正式使用，有特别喜欢的可以去程序官方购买。
53kr资源站仅提供学习的平台，所有资料均来自于网络，版权归原创者所有！本站不提供任何保证，并不承担任何法律责任，如果对您的版权或者利益造成损害，请提供相应的资质证明，我们将于3个工作日内予以删除。
53kr资源分享 » robots具体应该禁止些什么文件