首页
学习
活动
专区
圈层
工具
发布

#内存

我很笨--学习PG Vector--我开始研究HNSW的减少内存占用--要不你也试试!!系列 5)

AustinDatabases

除此以外,通过分区的方式也可以优化,通过每次将查询锁定在某一个分区来降低整体的HNSW使用内存的量,最后我们还可以通过调整 ef_search 动态调整,来建立...

2100

请问网友学习AI大模型 “自建” or "订阅" 给点意见--老登学AI

AustinDatabases

然后我还看了几个其他的可以运行大模型的设备,联想为AI运行大模型定制的主机,只有手那么大,但是宣称可以跑70B主流的大模型,他采用的技术是联想定制的,内存划分给...

1900

一文吃透 Linux 和 Windows 虚拟内存:从页表到换页,真正在生产里怎么跑

悠悠12138

虚拟内存这个东西,大家都听过,但真到线上一出 “内存爆了”“swap 狂飙”“某进程 OOM 了”,很多人第一反应还是重启。

4410

CXL内存池化:K8s调度实战指南

数据存储前沿技术

数据中心正面临内存资源的结构性瓶颈——CPU核心因内存带宽或容量不足而闲置("核心搁浅")的现象日益普遍。传统服务器主板绑定的内存架构已难以满足云原生环境对弹性...

4510

H3:CXL内存池化:架构演进与实践挑战

数据存储前沿技术

数据中心正面临内存扩展的“物理墙”困境——传统服务器架构中内存与CPU紧耦合,导致内存成为稀缺资源且利用率低下。在大模型训练、内存数据库等内存密集型场景下,这一...

4610

RealPLC还没正式内测,服务器就崩了?

Hello工控

你的服务器资源相当充裕:4核 CPU 几乎空闲(0.65%),8GB 内存只用了不到 1GB。因此原来的 50 连接限制过于保守了。

2410

小米二面:Redis为什么能支撑10万+ QPS?

苏三说技术

他回答“因为它是内存数据库”,面试官追问:“Memcached也是内存数据库,为什么Redis能处理更复杂的数据结构还更快?”他一时语塞,直接挂了。

7300

Memgraph 与 Neo4j 图数据库对比及 .NET 生态适配分析

张善友

Memgraph 与 Neo4j 是当前图数据库领域最具代表性的两款产品,但二者在设计哲学、架构取向和生态定位上存在本质差异。Neo4j 是图数据库品类的开创者...

12510

小米17 Max官宣在即,5月见!

TechMiel

最近,数码闲聊站独家爆料了小米17 Max的核心配置,确认这款大屏旗舰暂定5月下旬发布,主打极简设计、8000mAh长续航和2亿像素影像,彻底砍掉了此前17 P...

14310

以 Llama-3.1-8B 实战解锁Jetson Orin 内存管理与优化全攻略

GPUS Lady

在边缘设备上跑大语言模型(LLM),内存就是一切。 OOM、卡顿、启动崩溃、性能不稳定……90% 的问题都来自对「内存生命周期」与「统一内存架构」不理解。

9110

手机内存满了?相片视频存不下?不想让人看到相片视频?

搜罗万相

说实话,51到了,我就想到这个问题,不光是相片,特别是我们拍的4K视频是真心不好存放啊。

14310

百万级延迟消息稳定投递 - TDMQ Pulsar 的新解法:多级时间轮

腾讯云中间件团队

Apache Pulsar 延迟消息索引默认全量加载到内存。消息规模一旦上来,内存占用和索引重建耗时都会成为不容忽视的瓶颈。社区高版本虽引入了 Bucket 化...

8910

jcode 深度解析:纯 Rust 打造,它凭什么号称「最强 Coding Agent」?

勇哥AI笔记

所以今天看到这个开源项目: jcode ,纯 Rust 编写,9.2 万行代码,空闲内存只有 28MB(Trae 启动时,经常内存告警),很是吸引我。

37810

计算机中的软件和硬件是如何协同工作的?

chouheiwa

我本科是化工专业出身,后来自学转行做了 iOS 开发。说实话,刚入行那几年我对软硬件协同这个问题也是一头雾水,觉得代码写完点个 Run 就跑了,底下发生了什么跟...

14110

Rust内存泄漏检测与防范:深入解析与实践指南

用户12298955

在现代软件开发中,内存泄漏是一个棘手的问题,它可能导致程序性能下降甚至崩溃。Rust语言以其独特的内存安全机制著称,但开发者仍需警惕潜在泄漏风险。本文将深入解读...

9610

秒级出图!用CANN仓库解锁AIGC图像生成的隐藏加速技能

用户12298955

在AI绘画爆火的今天,你是否也曾为漫长的等待时间而苦恼?生成一张高分辨率图像往往需要数十秒甚至更久。但今天,我将带你探索如何利用华为CANN(Compute A...

11110

速度翻倍,DDR6竞赛已悄悄打响

芯智讯

5月4日消息,韩国媒体The Elec援引多家PCB基板行业消息人士的话称,全球三大内存巨头三星电子、SK海力士和美光科技近期已向下游基板厂商正式提出DDR6先...

13010

AI芯片大厂Cerebras重启IPO,估值或超266亿美元

芯智讯

与传统GPU将晶圆切割成数百颗小芯片不同,Cerebras的WSE系列芯片将整片晶圆作为单一巨型芯片使用,在单块硅片上集成了大规模计算核心与内存。公司宣称,这种...

39610

美光CEO:内存已成战略资产,缺货将持续至2027年

芯智讯

Mehrotra指出,内存是一项战略资产,要让AI发挥完整能力,就需要更多、且更高速的内存。目前正处于AI的训练需求转向推理需求的拐点,随着推理应用扩大,所需的...

14910

联电Q1营收增长5.5%,产能利用率升至79%

芯智讯

此外,以美元计价的平均销售单价预估将微幅增加低个位数百分比,毛利率估计将维持在约30%,产能利用率则预期将提升至80%前段。尽管市场仍面临内存供应短缺及中东地缘...

10710
领券