许多 时尚博主,或是公布feed的网站站长常常会在网络服务器系统日志中见到相近下边的编码:
72.14.199.89 - - [12/Oct/2005:01:11:13 +0800] "GET /blog/rss.php?v=2 HTTP/1.1" 200 61051 "-" "FeedFetcher-Google; (+http://www.google.com/feedfetcher.html)"
这儿的Feedfetcher是啥?
那时google的reader和google个性化首页定阅器的robot(智能机器人),也就是说Crawler(爬取器)。客户在谷歌阅读器或google首页定阅了你的blog时,google的Feedfetcher就会定时执行地伴随着rss详细地址去约你的网站爬取feed。
Feedfetcher爬取的数据信息对你网站的google数据库索引升级实际意义非常大。假如你的blog有很多google reader阅读者,你的公信力会受高度重视。
阅读文章文中的人还能够阅读文章:
Baiduspider - 百度爬虫
几大百度搜索引擎的网址登录界面
标签内容: 爬取 就会 了你 对你 有很多 的人