首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

从网址输入浏览器到看到网页内容

简单来说三大步:

1、浏览器发出请求

2,、服务器做出响应

3、浏览器接收响应

具体来说:首先浏览器判断你输入的网址url是否合法有效。url中的host定位到互联网上的一台服务器,它可以使一个ip地址,但通常是我们所说的域名。大型爬虫需要维护自己的dns缓存。浏览器获得网站服务器ip地址,发送请求,爬虫需要关心http协议的headers。服务器验证浏览器信息之后返回浏览器请求数据html。如果看到我们想要的数据而html中没有,那就是浏览器通过ajax请求异步加载了那部分数据。

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20200621A08H9U00?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券