百度素来违背robots协议随意抓取网页页面,在seo业界已不是什么新鲜事,但是仿佛中国的搜索引擎基本上也不遵照robots协议,也有那一个什么玩意的国搜也是。
会生长举微信公众平台文章内容的事例表明一下。
微信公众平台的文章内容是能够有原創标识维护的,如果有别的微信公众号剽窃你的文章内容,微信公众平台是能鉴别出去的,它是对原创文章的维护。
大家随意找一篇微信公众号下的原创文章,搜索一下在其中的文章段落,发觉以下状况:
该一篇文章从文章标题到所有的內容被百度爬取并百度收录,另有网页快照为证。
再讨论一下微信公众账号台的robots协议:https://www.yunsites.com/,并不允许搜索引擎spider爬取内容页,但是百度或是极致的爬取了,值得表扬。
因此有一些同学们问为啥屏蔽掉某一文件目录仍在抓取,不是你做的不对,只是百度吊炸天。
标签内容: 原创文章 爬取 百度 抓取 协议 搜索引擎