首页
学习
活动
专区
圈层
工具
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

#缓存

缓存就是数据交换的缓冲区(称作Cache),当某一硬件要读取数据时,会首先从缓存中查找需要的数据,如果找到了则直接执行,找不到的话则从内存中找。缓存的作用是帮助硬件更快地运行。

架构经验总结:1你以为性能优化很难?这些方法论让你轻松搞定!

李福春

在一片繁茂的森林里,住着一群土拨鼠。说来有趣,这群土拨鼠最喜欢的活动,就是在每年的"618大促"这一天,疯狂地收集森林里的坚果和美味浆果,准备迎接丰收的季节。他...

3310

plantuml-绘制状态图活动图和部署图​

李福春

6100

DNS 究竟查了啥?从输入网址到打开页面发生了什么

神的孩子都在歌唱

你在浏览器里敲下 www.baidu.com,页面“嗖”地一下打开了,看起来轻松又理所当然。可其实在这短短一两秒里,背后发生了一整套“网络魔法”。

9510

HTTP/2回源陷阱:缓存一失效,网站瞬间崩了?!——关闭这个开关立省100%报错

烟雨平生

默认缓存策略:遵循 EdgeOne 默认缓存策略,根据 HTTP 响应头内的 Cache-Control 及其他缓存头部来决定文件在节点内的缓存时间。

5700

【连载 57】Redis 性能测试实战—— 缓存过期

FunTester

在Redis的实际应用中,我们通常希望将需要快速访问的资源存储到Redis中,以显著提升系统响应速度和用户体验。然而,受限于服务器资源和运营成本,很难将所有数据...

3900

Dapr Conversation 构建块

张善友

Dapr Conversation 是 Dapr(Distributed Application Runtime)在 1.15 版本中引入的新 API(Alph...

8110

Cache Me If You Can:陈丹琦团队如何「抓住」关键缓存,解放LLM内存?

机器之心

KV 缓存是模型进行快速推理的基石,但它的大小会随着输入文本的长度线性增长。例如,使用 Llama-3-70B 模型处理一个长度为 128K token 的提示...

13410

大模型缓存系统 LMCache,知多少 ?

Luga Lee

     在这一背景下,LMCache 应运而生,作为一种新型缓存系统方案,旨在通过精准的 KV 缓存调度与跨请求共享机制,显著降低推理成本,同时优化响应延迟,...

16910

100万QPS短链系统如何设计?

苏三说技术

凌晨两点,监控大屏突然飙红——短链服务QPS突破80万! 数据库连接池告急,Redis集群响应延迟突破500ms。

6100

如何设计一个向量搜索引擎

javpower

传统的线性搜索时间复杂度是O(n),面对百万级数据就力不从心了。我们需要更聪明的算法。

8419

从前车马很慢,现在湖仓很快,一个Doris够用一辈子

一臻数据

于是我们有了数据仓库——把数据清洗、建模、优化,专门用来做分析。性能飞跃,查询秒级响应。

4900

大模型的性能提升:KV-Cache

半吊子全栈工匠

如图所示,我们只需关注注意力矩阵中新增的最后一行,其余部分可以从缓存中直接复用。图中以灰色突出显示的 k₁ 到 k₄ 和 v₁ 到 v₄ 都是之前步骤中已计算并...

3.6K414

前端架构升级与性能极限突破:深度解析高维度前端技术与实践

杨不易呀

腾讯云TDP | KOL (已认证)

在互联网飞速发展的今天,用户对Web应用的体验要求不断提高。而前端作为用户直面的部分,其性能、架构设计、技术栈选择以及优化手段,成为衡量一个企业技术实力的关键指...

9810

Redis云服务深度解析:腾讯云Redis与自建方案的技术经济性对比

用户11288883

14710

MESI 缓存一致性协议

莫他喵

CPU 通过 “总线嗅探(Bus snooping)” 来感知其他 CPU 读写事件的发生:每个缓存中包含一个监视器(snooper),监听器会监视总线上的每个...

12510

避免Java代码中的“坏味道”:20个重构技巧让你的代码焕发新生!

格姗知识圈

缓存是双刃剑,用之前先想想:这个数据真的需要缓存吗?缓存失效怎么处理?数据一致性怎么保证?

8310

别让千亿参数成摆设!万字解读LLM应用的生存法则

半吊子全栈工匠

其次,别忘了“缓存”这个老朋友。有些问题用户天天问,比如“你们的退款政策是什么?”这种高频问题,完全可以在第一次处理后缓存结果,下次直接返回,省时又省力。一个简...

2.3K10

更新R包版本还有这个不为人知的秘密

生信菜鸟团

共享服务器,考虑到用户的需求,服务器维护团队已经在服务器上安装了1300+的公共R包,路径为: /refdir/Rlib。

14010

全球首次,Transformer「混血」速度狂飙65倍!英伟达已下注

新智元

与BD3-LM不同,Eso-LM (B)允许在两个阶段使用统一的KV缓存,蓝色边框框住了正在构建KV缓存的transformer单元;当单元的KV缓存构建完成时...

10810

Java 集合框架内存管理最佳实践实用指南

啦啦啦191

Java 集合框架,内存管理,性能优化,最佳实践,内存泄漏,垃圾回收,JVM 调优,Ava 框架,集合性能,内存占用,对象池技术,弱引用,缓存管理,内存模型,J...

9210
领券