Robots是网站与spider沟通交流的关键方式，网站根据robots文件申明本网站中不愿被搜索引擎收录的一部分或是特定搜索引擎只收录特殊的一部分。
9月11日，百度搜索搜索robots全新升级升級。升級后robots将提升对网站视频URL收录抓取状况。仅当您的网站包括不期待被视频搜索引擎收录的內容时，才必须应用robots.txt文件。假如您期待搜索引擎收录网站上全部內容，切勿创建robots.txt文件。
如您的网站未设定robots协议书，百度搜索搜索对网站视频URL的收录将包括视频播放页URL，及网页页面中的视频文档、视频附近文字等信息内容，搜索对已收录的短视频資源将对客户展现为视频急速感受页。除此之外，综艺节目影视制作类长视频，搜索引擎仅收录网页页面URL。
设定搜索robots协议书的不良影响
对于短视频类內容，视频搜索将已不数据库索引、呈现网站的视频資源，历史时间已数据库索引一部分会从搜索中屏蔽掉。若设定一部分文件目录不期待被收录 ，该文件目录下內容将从搜索中屏蔽掉，其他內容在搜索中则以一切正常結果展现。
阅读文章文中的人还能够阅读文章：
网站为何总流量出现异常？网站总流量出现异常10大缘故（1）
什么叫抓取出现异常？网站抓取出现异常的缘故
什么叫百度搜索抓取出现异常？抓取出现异常对网站的危害有什么
标签内容： 收录 视频 搜索引擎 抓取 网站 搜索