首页
学习
活动
专区
工具
TVP
发布

量子位

专栏作者
8591
文章
4920871
阅读量
138
订阅数
匿名论文提出奇招!增强大模型长文本能力居然还能这么做
具体办法就是建一个临时Lora模块,让它仅在长文本生成过程中“流式更新”,也就是用先前生成的内容不断作为输入来充当训练数据,以此保证知识被存进模型参数中。
量子位
2024-02-22
1270
400万token上下文、推理再加速46%!最新开源方案升级MIT成果,推理成本再降低
StreamingLLM可以在不牺牲生成效果、推理速度的前提下,实现多轮对话共400万个token,22.2倍推理速度提升。
量子位
2024-01-11
2170
用上这个工具包,大模型推理性能加速达40倍
英特尔® Extension for Transformers[1]是英特尔推出的一个创新工具包,可基于英特尔® 架构平台,尤其是第四代英特尔® 至强® 可扩展处理器(代号Sapphire Rapids[2],SPR)显著加速基于Transformer的大语言模型(Large Language Model,LLM)。其主要特性包括:
量子位
2023-12-01
8410
预测token速度翻番!Transformer新解码算法火了,来自小羊驼团队|代码已开源
他们开发了一种新的解码算法,可以让模型预测100个token数的速度提高1.5-2.3倍,进而加速LLM推理。
量子位
2023-11-27
4150
GPT-4变笨加剧,被曝缓存历史回复:一个笑话讲八百遍,让换新的也不听
证据显示,即使他将模型的temperature值调高,GPT-4仍重复同一个“科学家与原子”的回答。
量子位
2023-11-03
2000
修改几行代码就让LLM应用提速100多倍!这个团队两周搭建ChatGPT缓存层,曾被老黄OpenAI点赞
允中 发自 凹非寺 量子位 | 公众号 QbitAI ChatGPT爆火,为何大模型却依然没有得到广泛的应用? 原因无它,受制于性能和成本。 最近,有这样一个项目引发业内关注和讨论——GPTCache(https://github.com/zilliztech/GPTCache)。 它使用向量数据库技术为各种 LLM 应用提供一层语义缓存,能够存储 LLM 响应,从而显著减少检索数据所需的时间、降低 API 调用开销、提升应用可扩展性。 简单来说,有了 GPTCache,受制于性能优化与成本的 LLM 应用
量子位
2023-05-06
6640
比英伟达便宜4000元、功耗更低、游戏性能相同,AMD发布RX 6900 XT旗舰显卡
晓查 发自 凹非寺  量子位 报道 | 公众号 QbitAI AMD全新Radeon RX 6000系列显卡来了! 今天凌晨,苏妈携RX 6800、RX 6800 XT、RX 6900 XT三款新显卡登台亮相,A卡与N卡的新一轮竞争再次拉开序幕。 AMD三款显卡分别对标英伟达RTX 3070、3080和3090,售价分别为4599元、5099元和7999元 其中旗舰显卡RX 6900 XT在4K分辨率下和RTX 3090有相同的游戏帧率,售价还比后者低1/3。是不是感觉3090顿时不香了? AMD表示,
量子位
2023-03-10
5480
克服DIMM近存计算系统的通信瓶颈,清华软件定义芯片团队提出DIMM间广播技术 | ISCA 2021
允中 发自 凹非寺 量子位 编辑 | 公众号 QbitAI 2021年6月14日~6月17日,第48届国际计算机体系结构大会(ISCA)通过线上模式顺利召开。清华大学魏少军、刘雷波教授团队作了题为“ABC-DIMM: Alleviating the Bottleneck of Communication in DIMM-based Near Memory Processing with Inter-DIMM Broadcast”的学术报告。 该报告针对DIMM(双列直插式存储模块)近存计算架构的通信瓶颈问题
量子位
2023-03-10
2460
魔改宜家灯泡当主机,玩转《毁灭战士》无压力!网友:远超我家第一台电脑
贾浩楠 胡子豪 发自 凹非寺 量子位 报道 | 公众号 QbitAI 这年头,“万物皆可《毁灭战士》”!(Doom) 极客们把这款猛男必玩的游戏移植到五花八门的设备上,iPod Nano、ATM机、示波器、验孕棒(壳)…… 现在连灯泡也可以了? 一位外国全栈野生钢铁侠,直接找来了这只宜家出品的20美元灯泡: 然后Up主买了块小屏幕,经过一番改造,便成了这样: 看完demo,网友直呼宜家电灯泡已经远超自己当年的PC。 更夸张的是,这台机器的微处理器只有108kB内存。 要知道,毁灭战士的最低系统要
量子位
2023-03-10
3420
不用电路控制的机器人!加州大学开发出气动逻辑系统,能用意想不到的方式弹钢琴
明敏 发自 凹非寺 量子位 报道 | 公众号 QbitAI “脑袋”里只有空气,就能弹奏出8小节的乐章。 这个软体机器手弹钢琴,核心居然全靠空气驱动。 最近,加州大学河滨分校的学者们开发出了一个气动随机存取存储器 (RAM),并成功用它操纵软体机器人演奏了一首曲子。 用气流阀取代电子晶体管,用气动逻辑取代计算机逻辑,研究人员成功让这个机器人摆脱了传统机电元件的控制系统。 连接其“手”、“脑”的也不再是电线,变成了透明的气流管道。 它们一端连接着气动RAM,另一端连接着机器人的手指。 通过改变管道内的气压,
量子位
2023-03-10
3650
B站焊武帝爆火出圈:纯手工拼晶体管自制CPU,耗时半年,可跑程序
金磊 博雯 发自 凹非寺 量子位 报道 | 公众号 QbitAI 一个人,到底能肝到什么程度? 最近B站上大火的一个视频,或许给了这个问题一个完美诠释: 纯!手!工!自制CPU! 这位叫做“奶味的”Up主,耗时整整半年,用他那双勤劳的双手,“逐点”焊接,最终打造出了一个完整CPU! 手工做一个CPU能用么? 当然可以,他还做了一个demo展示,来看一下效果吧。 纯手工“肝”出一个CPU,还成功运行了流水灯效果,直接引发了一大波网友们的惊呼: 肝帝!焊武帝! 人长在肝上了! (感受下这满屏的Respe
量子位
2023-03-10
3190
2023「炼丹」GPU选购指南来了:英伟达3080和4070Ti成性价比之王
Alex 发自 凹非寺 量子位 | 公众号 QbitAI 春暖花开,各位深度学习er想不想给自己的“丹炉”升级一波? “炼丹”爱好者们应该知道,在该领域中,**GPU的总体表现完胜CPU。 那么GPU应该怎么选?不妨来看看这篇超级详尽的“2023版GPU选购指南”。 知名测评博主、华盛顿大学在读博士Tim Dettmers亲测后,写下万字长文,手把手教你Pick性价比最高的显卡,避免踩雷。 △光是目录就有这么长…… 至于谁是性价比之王,不卖关子,这里先放上Tim哥的结论: 对于16位训练过程,RTX 30
量子位
2023-03-04
2.6K0
拆解苹果M2 Pro笔记本,内存变成4条4GB,散热片还缩小了
Pine 发自 凹非寺 量子位 | 公众号 QbitAI 苹果M2 Pro笔记本才刚发布没多久,就被成功拆解了! 14寸M2 Pro笔记本对比14寸M1 Pro笔记本: 内存模块从M1 Pro的2个8GB变为现在的4个4GB,散热片还明显缩小了…… 慢着慢着,虽说苹果推出了自助维修服务,但M2 Pro笔记本的维修手册也还没出来呢,那这是怎么拆的? 熟悉的朋友可能知道,这次苹果发布的M2 Pro笔记本除了芯片更新,机身模具与2021款几乎无变化。 所以iFixit试着用M1 MacBook那长达160多页的
量子位
2023-02-23
4360
大脑如何区分「迪奥」与「奥迪」?纽大最新研究揭秘
具体来说,当输入语音时,人脑会给每个单词打上一个时间戳,放进「缓存」中再进行处理,其上限为3个声音标记。
量子位
2022-12-09
1780
健身不用再做一整套动作!最新研究:只做离心收缩就行,最终效果差别不大,还长了更多肌肉
当然这并不是信口胡说来的,而是伊迪斯科文大学(ECU)最新的一项研究成果,相关论文已经发表在了《欧洲应用生理学》杂志上。
量子位
2022-12-08
2460
一块RTX3050搞定DLRM训练!仅需1%Embedding参数,硬件成本降低至十分之一 | 开源
深度推荐模型(DLRMs)已经成为深度学习在互联网公司应用的最重要技术场景,如视频推荐、购物搜索、广告推送等流量变现业务,极大改善了用户体验和业务商业价值。
量子位
2022-12-08
3920
7家最值得关注的存算一体初创公司丨量子位智库报告(附下载)
量子位智库 发自 凹非寺 量子位 | 公众号 QbitAI 存算一体,一种新型计算架构,正在驱动新一波芯片创新创业浪潮。 至今为止的信息技术产业,都是在经典的传统冯诺依曼架构下驱动的,但随着人工智能技术的发展,各个领域的智能化程度都在不断提高,智能化升级给芯片在大算力和低功耗方面均提出了更高的要求。 而冯诺依曼架构下,由于“存储墙”和“功耗墙”的壁垒,计算机在保证算力的同时,很难做到低功耗和成本可控。 于是在这种情况下,存算一体架构应运而生,并且因其在功耗和计算效率上展示出的巨大潜力而备受产业界关注,一大批
量子位
2022-08-31
1K0
AMD首批Zen4架构CPU,连低端R5单核性能都超英特尔旗舰,最高降价700元
衡宇 发自 凹非寺 量子位 | 公众号 QbitAI AMD的5nm Zen4架构终于来啦! Ryzen 7000系列首批四款CPU,今天正式发布。 按照AMD测试数据,这四款的Geekbench单核跑分,均超过了英特尔当前的旗舰处理器i9-12900K。 与之前传闻的全系列涨价正相反,这次低端的R5 7600X维持上代价格299美元,最高端的R9 7950X对比5950X甚至降价100美元! 在随后的Q&A环节,CEO苏姿丰解释道: 降价,是为了让PC装机玩家感到兴奋。 具体如何?一起来看看。 单核
量子位
2022-08-31
5120
存算一体是啥新趋势?值得教授学者纷纷下海造芯 | 附报告下载
鱼羊 丰色 发自 凹非寺 量子位 | 公众号 QbitAI 芯片创业热度正酣,值此之时,一股风潮已悄然席卷学术界。 其中关键,是一种可以说刚走出实验室不久、国内外均未实现大规模量产的技术—— 存算一体芯片。 且看这一领域内国内创企背后的创始人们,便可窥见一二: 率先迈入B1轮的知存科技,创始人&CEO王绍迪出身北大微电子,2017年获得UCLA电气工程博士学位,同年提前结束博士后研究工作,回国创业。 苹芯科技则由清华校友陈怡然、杨越组队成立。陈怡然现为杜克大学教授,IEEE/ACM Fellow。杨越博士毕
量子位
2022-08-26
6470
给1万帧视频做目标分割,显存占用还不到1.4GB,代码已开源 | ECCV 2022
明敏 发自 凹非寺 量子位 | 公众号 QbitAI 咦,怎么好好的藤原千花,突然变成了“高温红色版”? 这大紫手,难道是灭霸在世?? 如果你以为上面的这些效果只是对物体后期上色了,那还真是被AI给骗到了。 这些奇怪的颜色,其实是对视频对象分割的表示。 但u1s1,这效果还真是让人一时间分辨不出。 无论是萌妹子飞舞的发丝: 还是发生形状改变的毛巾、物体之间来回遮挡: AI对目标的分割都称得上是严丝合缝,仿佛是把颜色“焊”了上去。 不只是高精度分割目标,这种方法还能处理超过10000帧的视频。 而且分
量子位
2022-07-19
3520
点击加载更多
社区活动
腾讯技术创作狂欢月
“码”上创作 21 天,分 10000 元奖品池!
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档