什么叫robots.txt文件?
搜索引擎机器人根据连接到达互联网技术上的每一个网页页面,并爬取网页页面信息内容。搜索引擎机器人在浏览一个网站时,会最先查验该网站的根目录下是不是有一个称为robots.txt的纯文字文件。在我们的网站有一些內容不愿被搜索引擎百度收录,我们可以根据设置robots.txt文件告之搜索引擎机器人。
假如网站上沒有严禁搜索引擎百度收录的內容,则无需设置robots.txt文件,或设置为空。
robots.txt文件有哪些必需?
从SEO的视角,robots.txt文件是一定要设置的,缘故:
1、网站上常常存有这类状况:不一样的连接偏向类似的网页内容。这不符SEO上讲的“网页内容互异性标准”。选用robots.txt文件能够屏蔽主次的连接。
2、网站重做或URL重写提升时原先不符搜索引擎友善的连接必须所有屏蔽。选用robots.txt文件删掉旧的连接合乎搜索引擎友善。
3、一些沒有关键字的网页页面,屏蔽更强。
4、一般状况下,网站内部的百度搜索网页页面屏蔽更强。
阅读文章文中的人还能够阅读文章:
Robots.txt 文件应放到哪儿?
robots.txt