搜索引擎根据网站站长们出示資源，来考虑用户的检索要求，而网站站长根据搜索引擎将网站的內容散播出来，得到 合理的总流量和用户。
搜索引擎蜘蛛在抓取全过程中彼此必须遵循一定的标准，有助于搜索引擎抓取，不必应用过少对搜索引擎不友善的原素。
搜索引擎蜘蛛抓取全过程中涉及到的互联网协议有下列四种：
1、HTTP协议
HTTP是HTML文件传送协议，在互联网技术上被广泛运用的一种互联网协议，手机客户端和服务端要求和回复的规范。
用户根据电脑浏览器或搜索引擎蜘蛛等对特定端口号进行一个要求，HTTP的要求会回到相匹配的httpheader信息内容，能够立即查询到是不是取得成功、服务项目 器种类、网页页面最近更新時间等內容。
2、HTTPS协议
HTTPS的安全性基本是SSL，因而数据加密的详尽內容就必须SSL。
布署HTTPS是必须选购SSL证书上传入网络服务器，网站打开HTTPS：第一能够保证 数据信息在传送全过程中的安全系数，第二用户能够确定网站的真实有效。
3、UA属性
UA是HTTP协议中的一个属性。根据UA让网络服务器能够鉴别出用户应用的电脑操作系统、电脑浏览器这些，依据相对的文件格式开展网页页面的调节，为用户出示更强的访问 感受。
4、Robots协议
搜索引擎在浏览一个网站时，最先会查询网站的根目录下的robots.txt文件，假如网站上不愿被搜索引擎抓取的网页页面，能够根据设定robots.txt文件告之搜索引擎。
留意： robots.txt务必放到网站根目录下，且文件夹名称要小写字母。
相关robots.txt文件的建立能够参照【robots.txt】
阅读文章文中的人还能够阅读文章：
网站应用HTTPS有哪些优点？HTTPS的缺陷
什么叫RPC协议？RPC协议与HTTP协议的差别
