腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

张叔叔讲互联网

针对青少年、想了解学习互联网知识的人，通过通俗易懂的语言讲述互联网常识。21世纪，互联网知识人人都要

专栏作者

61

文章

38546

阅读量

21

订阅数

百度一下，背后可不只是简单的一下（下篇）

上篇文章中我们讲到百度通过大量的爬虫从网络上爬取到了海量的信息，这其中涉及到两个网页A和网页B，网页A中介绍的是赵丽颖和冯绍峰结婚的事情，网页B中介绍的是赵丽颖的新电影《张叔叔的美好时光》。类比词典中目录的作用，百度会针对网页A和网页B构建专属的索引。当搜索“赵丽颖和冯绍峰啥时候结婚的”，百度会对搜索内容先进行分词，解析出了“赵丽颖、冯绍峰、结婚、时候”，然后通过查询索引找到了最符合查询条件的网页A，然后把结果返回给了搜索者。

张叔叔讲互联网

2018-10-29

4900

百度一下，背后可不只是简单的一下（上篇）

搜索引擎爬虫存储

今天张叔叔给大家科普一下百度一下是如何实现的。百度被称为中国最大的搜索引擎，全球最大的中文搜索引擎，这个的确不是吹嘘。百度每天处理的搜索请求量都是百亿级别，可以用手指数一下“个十百千万...”，你会惊奇的发现，十个手指头都不够百亿单位。

张叔叔讲互联网

2018-10-29

6410

什么是网络爬虫，每天都在忙乎什么？（下篇）

爬虫 html 存储

上篇文章中提到我成功到达了B站服务器，并且成功拿到了所需要的Cosplay图片，但是除了图片之外还有一些其他内容，带着很多疑问我开着车以光速回家了。

张叔叔讲互联网

2018-10-29

4970

什么是网络爬虫，每天都在忙乎什么？（上篇）

爬虫搜索引擎 go 存储

先自我介绍一下，我是一只网络爬虫，出生在计算机中，操作系统就是我的爸爸妈妈，现在都活了2000毫秒了，这个放到我们生活的世界来说，已经属于比较长寿了。我出生之后就被安排到工作岗位上去了，我每天的工作就是在计算机网络上面到处跑，就像蜘蛛每天在蜘蛛网上来回觅食一样，大家给我起了一个外号叫做网络爬虫，但是我长得可比蜘蛛好看多了！

张叔叔讲互联网

2018-10-29

8450

【一文读懂】什么是网络爬虫，每天都在忙乎什么？

爬虫搜索引擎 go 存储 html

先自我介绍一下，我是一只网络爬虫，出生在计算机中，操作系统就是我的爸爸妈妈，现在都活了2000毫秒了，这个放到我们生活的世界来说，已经属于比较长寿了。我出生之后就被安排到工作岗位上去了，我每天的工作就是在计算机网络上面到处跑，就像蜘蛛每天在蜘蛛网上来回觅食一样，大家给我起了一个外号叫做网络爬虫，但是我长得可比蜘蛛好看多了！

张叔叔讲互联网

2018-10-29

8440

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态