百度搜索用以抓取网页页面的程序流程称为Baiduspider - 百度蜘蛛,大家查询网站被百度搜索抓取的状况主要是剖析,网站日志里百度蜘蛛Baiduspider的活动性:抓取頻率,回到的HTTP状态码。
怎么查看网站被百度搜索抓取的状况?
查询日志的方法:
根据FTP,在网站网站根目录寻找一个日志文档,文件夹名称一般包括log,免费下载缓解压力里边的文本文档,这就是网站的日志,纪录了网站被浏览和实际操作的状况。
由于每个网络服务器和服务器的状况不一样,不一样的服务器日志作用纪录的內容不一样,有的乃至沒有日志作用。
日志內容以下:
61.135.168.22 - - [11/Jan/2009:04:02:45 +0800] "GET /bbs/thread-7303-1-1.html HTTP/1.1" 200 8450 "-" "Baiduspider+(+http://www.baidu.com/search/spider.htm)"
剖析:
GET /bbs/thread-7303-1-1.html 代表,抓取/bbs/thread-7303-1-1.html 这一网页页面。
200 代表取得成功抓取。
8450 代表抓取了8450个字节。
假如你的日志里文件格式并不是这般,则代表日志文件格式设定不一样。
许多 日志里能够见到 200 0 0和200 0 64 则都代表一切正常抓取。
抓取頻率是根据查询每天的日志里百度蜘蛛抓取频次来得知。抓取頻率并没有一个标准的时刻表或頻率数据,大家一般通过数日的日志比照来分辨。自然,大家期待百度蜘蛛每天抓取的频次愈多愈好。
在网站出現难题的状况下,根据查询网站日志,查询网站的HTTP返回值是不是一切正常。
阅读文章文中的人还能够阅读文章:
网站日志在哪儿?怎么下载日志?