Googlebot 大家一般称之为Google 智能机器人或Google 探测器。Google “外派”了不一样的Googlebot 对网页内容开展获得。
Googlebot 有哪些?关键包含:
1、Googlebot:抓取网页中的文字内容。获得的内容储存于Google 网页检索和新闻搜索的数据库查询。大家一般谈的Google 智能机器人关键指这一。
2、Googlebot-Mobile:抓取网页中的文字内容,用于Google 手机查找。
3、Googlebot-Image:抓取网页内的照片内容,储存入Google 图片大全数据库查询。
4、Mediapartners-Google:抓取网页中的文字内容,用于Google Adsense 剖析关键字。仅有推广了Google Adsense 的网页才会被 Mediapartners-Google 探测器抓取。
5、Adsbot-Google:抓取网页中的文字内容,用于为Google AdWords 出示参照。仅有Google AdWords 的总体目标网页才会被 Adsbot-Google 探测器抓取。
Googlebot 和Mediapartners-Google 是十分努力的智能机器人,假如她们危害到你网络服务器的承受能力,你能根据 robots.txt 文档多方面劝阻。
阅读文章文中的人还很感兴趣
Google系统管理员专用工具是啥?
Google关键字工具
Google网站访问量统计分析