相信做网站SEO的对于robots文件并不陌生，robots主要是跟网站爬虫间协议，用通俗的说就是用txt文本告诉搜索引擎，这些网站链接是限制爬虫抓取的，因为蜘蛛每访问一个站点时，它都会先对该网站的根目录下是否存在robots.txt文件进行查看，接下去搜索引擎就会按照该文件中的内容来确定访问范围。关于robots文件可能有很多站长不知道如何去使用或是屏蔽哪些内容，接下来就由小编一起带大家了解一下。

　　Robots为什么要限制?

　　我们网站通常会分为几大模块，每个模块都会有相对应的权重占比，随着搜索引擎算法不断更新，对于每一个网站评分不仅仅是页面收录量，而是对该站点的内容质量进行评比，比如今年搜索引擎会计算整站的质量页面占比，占比越高相对的排名展示会越好。那么针对一些不会原创也不会伪原创的朋友们就比较尴尬了，所以一些SEO朋友们不仅要学会如何优化网站，还需要有较好的文字功底，这样才能写出许多高质量新闻。

　　我们在新站上线之前通常会屏蔽这些页面，例如：联系我们、公司案例、网站登入后台等一些不参与排名的页面，而其他页面用心更新，搜索引擎会认为这个网站是一个高质量的网站，所给予的评分也会很高。那么为什么屏蔽这些页面?对于搜索引擎来说，这些页面都是不充实或是没有质量的页面，如果被抓取了，最终会导致整站分权。

　　相信很多站长为了方便搜索引擎抓取都是把网站地图上的URL全站导出挂在网页上，其实robots文件也是如此，为了经常引蜘蛛到我们网站爬行是为了能有更好排名，赋予一些有权重的页面，另外一些不参与排名页面就要用robots文件屏蔽。另外对于一些新站来说，搜索引擎抓取频次是有限的，如果一开始没有把这些页面加在一起，那么会是一种浪费。

　　以上介绍了Robots文件使用的介绍，如果我们没有很厉害的算法，或是没有任何资源的情况下，在做SEO优化过程中就需要注意这些细节性问题，往往细节会反应一个网站能否有更好的排名。当然SEO的知识是永无止境的，只有不断摸索与尝试才能够让自己更快的成长起来，如果还有更多优化方面疑问请告诉我们，我们会最真诚的为您服务。