腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

进击的Coder

专栏作者

552

文章

1254875

阅读量

199

订阅数

一个神器，大幅提升爬虫爬取效率！

缓存 https 网络安全爬虫 http

这是「进击的Coder」的第 575 篇技术分享作者：崔庆才在做爬虫的时候，我们往往可能这些情况：网站比较复杂，会碰到很多重复请求。有时候爬虫意外中断了，但我们没有保存爬取状态，再次运行就需要重新爬取。还有诸如此类的问题。那怎么解决这些重复爬取的问题呢？大家很可能都想到了“缓存”，也就是说，爬取过一遍就直接跳过爬取。那一般怎么做呢？比如我写一个逻辑，把已经爬取过的 URL 保存到文件或者数据库里面，每次爬取之前检查一下是不是在列表或数据库里面就好了。是的，这个思路没问题，但有没有想过这些问

2022-03-04

3180

阿里二面被问 Redis 主从复制和集群，14:03 进去的，14:08 就出来了…

云数据库 Redis 缓存 java 运维 json

要说在近几年的面试里，考察难度只增不减的，Redis 可谓是当仁不让！而往前倒推几年，最人气的 NoSQL 数据库还是 MongoDB，同一年发布的 Redis 甚至排不上号。归功于这几年缓存技术的发展、企业对性能的要越来越高，而 Redis 最大的优势，就是快！（快字我已经说腻了）网友对几大主流数据库的形象总结因此，现在出去面试 Java/ 后端开发等类型的岗位，Redis 是绝对绕不开的一趴： Redis 持久化机制缓存雪崩、缓存穿透、缓存预热、缓存更新、缓存降级等问题单线程的 Redi

2022-03-04

3050

原创丨Python 中怎么来实现类似 Cache 的功能？

缓存 linux 编程算法

近期要实现一个小的功能：我需要在短期内对某些数据进行快速查询、修改等操作，但这些数据仅仅在短期内会用到，过一小段时间就可以销毁了。

2021-12-01

1.1K0

万字长文：编写 Dockerfiles 最佳实践

缓存 http apt-get 容器镜像服务

Docker通过读取Dockerfile中的指令自动构建镜像，一个文本文件包含构建镜像的所有指令。Dockerfile遵循特定的格式和指令集，您可以在Dockerfile中引用它们。

2019-08-20

1.9K0

一个网络请求的历险之旅

dns tcp/ip php 缓存 go

对于互联网，人们总是高谈阔论，却很少有人愿意去了解电脑、手机、电视这些设备到底是如何被“连接”起来的。

2019-05-07

6680

为什么分布式一定要有redis?

分布式云数据库 Redis sql 缓存

作者：孤独烟来源：博客园出处：http://rjzheng.cnblogs.com/ 1. 为什么使用redis 分析:博主觉得在项目中使用redis，主要是从两个角度去考虑:性能和并发。当然，redis还具备可以做分布式锁等其他功能，但是如果只是为了分布式锁这些其他功能，完全还有其他中间件(如zookpeer等)代替，并不是非要使用redis。因此，这个问题主要从性能和并发两个角度去答。回答:如下所示，分为两点（一）性能如下图所示，我们在碰到需要执行耗时特别久，且结果不频繁变动的SQL，就特

2018-06-25

6240

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态