什么是robots协议？应该如何编辑robots.txt
发布时间：2022-03-09 03:03:48 所属栏目：建站 来源：互联网
导读：搞SEO优化的伙伴应该都知道这个robots，只是对于新手来说，可能还是不太懂，所以，胜达SEO优化就再这说说这个robots了。 一、robots.txt文件的含义 前面有提到，这个文本文件承载着robots协议，它告诉所有搜索引擎本网站哪些页面可以被抓取，哪些页面禁止抓
|
搞SEO优化的伙伴应该都知道这个robots，只是对于新手来说，可能还是不太懂，所以，胜达SEO优化就再这说说这个robots了。 一、robots.txt文件的含义 前面有提到，这个文本文件承载着robots协议，它告诉所有搜索引擎本网站哪些页面可以被抓取，哪些页面禁止抓取。这样做有两方面的意义： 1.保护隐私。有些页面信息不想或者说不能让外界看到，单搜索引擎并不知道这些情况，它还是会照常抓取、展现。如果我们通过设置robots做了限制，搜索引擎蜘蛛就会放弃抓取，外界就不能通过搜索引擎了解到这些隐秘信息。 2.调节页面抓取量。我们都知道每个网站蜘蛛抓取的配额都是有限的，如果我们通过robots.txt文件禁止一些不重要的页面被抓取，那么就节约了配额，让那些重要的页面得到更多的抓取机会。 二、robots.txt文件的写法 robots协议针对的就是允许或者不允许，另外也可以设置具体的搜索引擎，笔者认为正常情况下不用去区分搜索引擎，统一设置即可。 允许所有搜索引擎访问网站 User-agent:* Allow:/ 这是最基本的用法，robots协议的用法还有很多技术，胜达SEO优化建议大家去仔细阅读robots协议。 三、robots.txt文件相关注意事项 有朋友说我的网站没有什么要禁止抓取的，你就不要设置robots.txt文件了吧，理论上行得通。不过，胜达SEO优化建议，即便全部开放也最好设置一个robots文件。 四、robots.txt文件的位置 robots一般都是需要放在网站根目录下的。在链接url的显示就如本站robots链接： 本文胜达SEO优化只是对robots.txt文件做了大体意义上的讲解，更多robots协议各位可以百度查看百度百科资料，robots优化设置可以查看百度站长平台提供的资料。 （编辑：核心网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
