robots.txt是啥？
有木有想过，如果我们某一站点不许百度搜索和google收录，那怎么办？
搜索引擎早已和大家达到一个约定，如果我们按约定那般干了，他们就不必收录。
这一写约定的的文件命名为:robots.txt。
robots.txt是一个非常简单的.txt文件，用于告知搜索引擎什么网页页面能够收录，什么不允许收录。
有关robots.txt一般网站站长必须留意以下几个方面：
1、假如你的站点对全部搜索引擎公布，则无需做这一文档或是robots.txt为空就可以了。
2、务必取名为：robots.txt，全是小写字母，robot后边加"s"。
3、robots.txt务必置放在一个站点的根目录下。如：根据https://www.yunsites.com/ 能够取得成功浏览到，则表明本网站的置放恰当。
4、一般状况下，robots.txt里只写着2个涵数：User-agent和 Disallow。
5、观查这一网页页面并改动给自己的：https://www.yunsites.com/
6、几个严禁，就得几个Disallow涵数，并支行叙述。
7、最少要有一个Disallow涵数，假如都容许收录，则写: Disallow: ，假如都不允许收录，则写:Disallow: / （注：仅仅差一个横杆）。
补充说明：
User-agent: * 星号表明容许全部搜索引擎收录
Disallow: /search.html 表明 https://www.seowhy.com/search.html 这一网页页面严禁搜索引擎爬取。
Disallow: /index.php? 表明相近那样的网页页面http://www.seowhy.com/index.php?search=%E5%A5%BD&action=search&searchcategory=%25 严禁搜索引擎爬取。
阅读文章文中的人还能够阅读文章：
怎么使用标识阻拦网页页面被收录？
标签内容： 收录 搜索引擎 如果我们 不允许 约定 站点