robots是什么
robots是网址跟搜索引擎蜘蛛间的协议书，当访问站点时，它最先查验机器人是不是存有于站点的网站根目录中。假如寻找，搜索引擎蜘蛛便会依照该文件中的內容来明确访问的范畴,假如该文件不会有,那麼检索机器人就顺着连接爬取。一定要留意txt文件务必放到站点的网站根目录中，文件夹名称务必为小写字母。
robots.txt是一个纯文本文档，在这个文档中网址管理人员能够申明该网址中不愿被搜索引擎访问的一部分，或是特定搜索引擎只百度收录特定的內容。因而，机器人的提升将立即危害到搜索引擎对站点的百度收录。
仅有在必须严禁爬取一些內容时，才写robots。一些端口设置是难题：当机器人文档不会有时，它回到200个情况编码和一些不正确信息，而不是404错误页，这是由于检索机器人曲解了robots文件信息内容。
robots mate是什么
robots meta标识主要是对于一个个实际的网页页面。和别的的META标识(如应用的語言、网页页面的叙述、关键字等)一样， robots meta标识也是放到网页页面的head>中，专业用于告知搜索引擎机器人怎样爬取该页的內容。
follow命令表明检索机器人能够顺着该网页页面上的连接再次爬取下来；
robots meta标识的缺省值是index和follow；
index命令告知检索机器人爬取该网页页面；
robots meta标识中沒有英文大小写之分，name=“robots”表明全部的搜索引擎，能够对于某一实际搜索引擎写成name=“ baiduspider' content一部分有四个命令选择项index、noindex、follow、nofollow，命令间以“，”隔开。
Robots和robots mate的差别
现阶段而言，全部的搜索引擎都适用和遵循robots.txt的要求，可是适用robots mate的却较为少，大伙儿能够酌情考虑应用。
阅读文章文中的人还能够阅读文章：
与网址导航站交换友链，可以吗？
叙述标识究竟应该怎么写？
怎么使用标识阻拦网页页面被百度收录？
robots.txt文件有哪些必需？
标签内容： 机器人 该文件 是什么 站点 搜索引擎 访问