首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

#内存

YOCO:全新Decoder-Decoder架构,内容减少6倍,推理速度提升30倍

zenRRan

这篇论文提出了一种新的架构,通过减少键值对缓存的次数来优化大型语言模型的内存使用和推理速度,同时保持了模型的性能。通过一系列实验,作者证明了YOCO在多个方面相...

500

Go: 垃圾回收器中的调整栈和新旧栈了解

运维开发王义杰

使用内存分析工具,如pprof,可以生成栈的内存使用情况报告。通过分析报告,可以确认栈内存的分配和回收是否正常。

400

Go: 如何使用 go tool pprof 进行性能分析

运维开发王义杰

pprof是Go语言内置的性能分析工具,它可以帮助我们分析程序的CPU使用情况、内存分配等。通过pprof,我们可以生成和查看性能分析数据,找到程序中的性能瓶颈...

900

【Rust日报】嵌入式 Rust:一份简化指南

MikeLoveRust

由此,作者探讨了内存分配对性能的影响,包括缓存行改进和数据指针的缓存局部性,得到的结论是:如果程序因匿名内存映射(不由文件支持)而出现缺页错误(page fau...

700

【社区投稿】给 NdArray 装上 CUDA 的轮子

MikeLoveRust

其中 _init_cublas() 和 _destory_cublas() 分别用于调用 cublasCreate 和 cublasDestroy 。我把han...

800

内存条RAM详细指南

久绊A

早期的电脑主板上有主内存,而内存条是主内存的扩展。但后来的电脑主板上取消了主内存,CPU完全依赖内存条。

1000

OpenVINO与TensorRT部署YOLOv10对象检测

OpenCV学堂

如果不指明opset=11或者12,默认opset=10导出的模型推理时候会非常的慢。指定opset=11以后,导出的模型结构如下:

4200

训练高分辨率图像任务,突破 GPU 内存限制,Jetson Nano 上也能起飞!

集智书童公众号

图像识别领域近年来取得了巨大进步,这得益于像AlexNet ,ResNet ,ViT 和Swin家族这样的突破性架构。这些架构擅长处理像ImageNet [5]...

3400

麻省理工(MIT) | 提出跨层Attention,减少Transformer大模型键值(KV)缓存,加快LLM推理!

ShuYini

键值 (KV) 缓存能够显著提升Transformer大模型的解码速度。但是当面对长序列的时候,键值 (KV) 缓存需要大量的内存资源。当前减少键值 (KV) ...

7210

DDR6看起来比DDR5的速度高一倍,DDR6-21000是最终目标

AsicWonder

处理器在某种程度上都受到内存速度的限制,DRAM制造商正在推进DDR6的开发,这是DDR5之后的下一代RAM。来自Synopsys的细节显示,该技术有望在明年完...

2810

三星和SK hynix放弃DDR3生产,专注于对HBM3的持续需求

AsicWonder

据IT Home报道,三星和SK hynix将永远退役各自的DDR3生产线。据报道,两家韩国内存制造商将在今年下半年停止向市场供应DDR3内存。两家公司都在做出...

2900

终究还是败给了腾讯,秒挂了。。。

小林coding

OOM Killer 机制会根据算法选择一个占用物理内存较高的进程,然后将其杀死,以便释放内存资源,如果物理内存依然不足,OOM Killer 会继续杀死占用物...

3010

Nacos漏洞综合利用工具

Al1ex

Nacos漏洞综合利用GUI工具,集成了默认口令漏洞、SQL注入漏洞、身份认证绕过漏洞、反序列化漏洞的检测及其利用

3910

MemProcFS:在虚拟文件系统中以文件形式查看物理内存

FB客服

支持分析内存转储文件和实时内存数据,也支持从虚拟机或PCILeech FPGA硬件设备以读写模式分析实时内存。

3110

Java一分钟之-Apache Geode:分布式内存数据平台

Jimaks

Apache Geode是一个高性能、低延迟的分布式内存数据平台,用于构建实时应用。它提供了缓存、数据库和消息传递功能,支持大规模并发操作。本文将讨论Geode...

2610

Java一分钟之-Java性能分析与调优:JProfiler, VisualVM等工具

Jimaks

在Java开发中,性能优化是提升应用效率的关键步骤。本文将介绍两款常用的Java性能分析工具——JProfiler和VisualVM,以及它们如何帮助我们识别并...

3210

性能怪兽!香橙派 Kunpeng Pro 开发板深度测评,带你解锁无限可能

猫头虎

在高负载内存测试中,我们测试了不同的内存分配大小,结果显示 6G 内存分配时出现了 Segmentation fault 错误,而 4G 和 5G 内存分配均能...

3510

VolWeb:集中式增强型数字取证内存分析平台

FB客服

VolWeb是一款最新开发的集中式增强型数字取证内存分析平台,该平台基于Volatility 3框架实现其功能,该工具旨在辅助广大研究人员执行安全分析和事件应急...

5300

大模型与AI底层技术揭秘(36)分裂没有出路

用户8289326

流水线机制可以让CPU中取指、译码发射、执行、内存访问和内存写回这五部分电路一直处于工作状态,理论上能提升5倍的指令吞吐量。

4200

读 DataFrame 不只是读 DataFrame ,还能读出这么多信息

用户4945346

首先,读取后的 DataFrame 可以一眼看出它的全貌,包括行数、列数、占用内存等概览信息,就像招手让一位新朋友先行了解。

2800
领券