蜘蛛黑洞：
蜘蛛黑洞指的是网站根据非常低的成本费经营，生产制造出很多和內容相遇但主要参数不一样的动态性URL ，像一个不断循环的“黑洞”将蜘蛛缠住，蜘蛛花销过多的時间在网站，消耗了很多資源抓取的网页页面为失效网页页面。
假如你的网站存有蜘蛛黑洞状况，尽早的解决好，蜘蛛黑洞不利网站的百度收录，也会危害搜索引擎对网站的得分。
怎么使用Robots防止蜘蛛黑洞？
怎样运用Robots防止蜘蛛黑洞实际操作：
一般的挑选結果页基础全是应用静态数据连接，例如：
http:// bj.XXXXX. com/category/zizhucan/weigongcun
当客户挑选不一样排序后，会自动生成含有不一样主要参数的动态链接，即便 挑选是同一种排序标准，形成的主要参数也是有不一样的，例如：
http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqhek
http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqi5c
把含有不一样主要参数的結果排序网页页面应用robots标准回绝，告之搜索引擎，让搜索引擎只抓取挑选結果页，为客户和搜索引擎省时省力。
Robots文件书写中Disallow: /*?* 禁止访问网站中全部包括疑问 (?) 的网站地址，根据这类方法，假如网站的失效网页页面不期待被搜索引擎百度收录，能够屏蔽低品质的网页页面，告知搜索引擎什么网页页面能够抓取，合理的防止黑洞的产生。
阅读文章文中的人还能够阅读文章：
Robots.txt 文档应放到哪儿？
robots.txt文件有哪些必需？
robots.txt
标签内容： 黑洞 蜘蛛 搜索引擎 排序 网站 抓取