首页
学习
活动
专区
工具
TVP
发布

机器之心

专栏作者
8931
文章
6284135
阅读量
277
订阅数
无注意力大模型Eagle7B:基于RWKV,推理成本降低10-100 倍
在 AI 赛道中,与动辄上千亿参数的模型相比,最近,小模型开始受到大家的青睐。比如法国 AI 初创公司发布的 Mistral-7B 模型,其在每个基准测试中,都优于 Llama 2 13B,并且在代码、数学和推理方面也优于 LLaMA 1 34B。
机器之心
2024-02-06
1520
强化学习中的Transformer发展到哪一步了?清华、北大等联合发布TransformRL综述
选自arXiv 作者:Wenzhe Li等 机器之心编译 编辑:rome rome 受监督学习的启发,人们对把 Transformer 用于强化学习产生了浓厚的兴趣。 强化学习(RL)为顺序决策提供了一种数学形式,深度强化学习(DRL)近年来也取得巨大进展。然而,样本效率问题阻碍了在现实世界中广泛应用深度强化学习方法。为了解决这个问题,一种有效的机制是在 DRL 框架中引入归纳偏置。 在深度强化学习中,函数逼近器是非常重要的。然而,与监督学习(SL)中的架构设计相比,DRL 中的架构设计问题仍然很少被研究。
机器之心
2023-02-23
2350
突破百万亿参数规模,追求极致的效率和性价比:华人团队开源首个异构并行推荐系统训练框架Persia
机器之心专栏 机器之心编辑部 Persia打破了前几代的推荐训练框架(同构的)设计思路,首次采用异构的设计思路,更合理地配置了CPU和GPU,实现了极致化的性价比。 个性化推荐是互联网行业提升 DAU (Daily Active Users)和收入的核心技术手段。随着深度学习的广泛应用,现代的推荐系统通过神经网络变相地「记住」用户的行为习惯,从而精准预测出用户的喜好。在移动互联网普及之后,用户的行为数据呈现几何级数增加,单位时间内产生和收集的用户行为数据更是极其庞大,因此需要更大的模型来对用户的兴趣编码。更
机器之心
2022-05-07
4550
ISSCC 2022 | 兼顾能效、精度和灵活性,可重构数字存算一体架构打开高算力AI芯片新范式
机器之心专栏 机器之心编辑部 来自清华大学的研究者基于可重构数字存算一体架构,设计了国际首款面向通用云端高算力场景的存算一体AI芯片ReDCIM。 被誉为“集成电路奥林匹克”的国际固态电路会议ISSCC,今年从全球12个领域共录用论文200篇,中国大陆及港澳地区入围的论文共30篇,其中清华大学集成电路学院发表的基于可重构数字存算一体架构设计的国际首款面向通用云端高算力场景的存算一体AI芯片ReDCIM(Reconfigurable Digital CIM)成果论文,引起广泛关注。 论文地址:https:/
机器之心
2022-04-18
1.4K0
苹果M1芯片首席设计师Jeff Wilcox重返英特尔,负责SoC架构设计
2020 年 11 月,苹果发布了首款专为 Mac 打造的芯片 M1;去年 10 月,苹果又接连推出了 M1 Pro 和 M1 Max,首次将片上系统(SoC)架构引入 Pro 系统,在内存带宽、功效、容量等方面实现新的突破。
机器之心
2022-02-18
5160
如何成为更好的软件架构师?这篇3.8K star的文章值得一看
几年前有人问我:「你是怎么成为一名软件架构师的?」我们就此探讨了必备技能、经验,以及储备相关知识所需的时间和精力。除此之外,我也回顾了自己走过的路、使用或尝试过的技术,以及我从那些五花八门的工作中学到的东西。
机器之心
2020-02-24
4450
比Tiny YOLOv3小8倍,性能提升11个点,4MB的网络也能做目标检测
目标检测在计算机视觉领域是一个活跃的研究分支,而深度学习已经成为这一领域最前沿也是最成功的解决方案。但是,在边缘和移动设备中广泛部署神经网络模型需要大量的计算算力和内存。因此,近来研究领域主要在解决适合以上设备的神经网络。
机器之心
2019-10-08
8470
计算机架构的新黄金时代,两位图灵奖得主最新力作
作者: John L. Hennessy, David A. Patterson
机器之心
2019-04-29
1.3K0
想入门设计卷积神经网络?这是一份综合设计指南
作者:George Seif 机器之心编译 参与:Nurhachu Null、刘晓坤 这篇文章可以作为一个设计指南,为特定分类任务的 CNN 设计提供指导。作者围绕准确率、速度、内存消耗三个指标的权衡,从网络类型、架构设计、数据处理和迁移学习等方面介绍了 CNN 设计过程中使用的方法。 你想开始做图像分类,但是无从着手。应该使用哪个预训练网络?如何修改网络以使其满足需求?你的网络应该包含 20 层还是 100 层?哪些是最快的、最准确的?这些是你为图像分类选择最好的 CNN 时会遇到的众多问题。 当选择
机器之心
2018-06-12
3330
深度 | 从AlexNet到残差网络,理解卷积神经网络的不同架构
选自cv-tricks 机器之心编译 作者:KOUSTUBH 参与:路雪、刘晓坤 卷积神经网络对视觉识别任务很有帮助。优秀的卷积神经网络具有数百万个参数和大量隐藏层。事实上,一个错误的经验法则是:「隐藏层的数量越多,卷积神经网络越好」。流行的卷积神经网络有 AlexNet、VGG、Inception、ResNet。这些网络为什么性能如此好?它们是如何设计的呢?为什么它们的结构是现在这样?本文给出了一个简单而全面的概述。 这些问题的答案并不简单,无法全部涵盖在一篇博客中。在本文中,我将讨论这些问题。网络架构
机器之心
2018-05-10
7170
资源 | NiftyNet:开源的卷积神经网络和医疗影像分析平台
选自NiftyNet 作者:Eli Gibson等 机器之心编译 参与:蒋思源、李亚洲 近日,外科研究中心 WEISS、UCL 医疗影像计算中心(CMIC)和 HIG 等研究机构共同开源了 NiftyNet,即基于卷积神经网络的医疗影像分析平台,它为研究社区提供一个开放的机制来使用、适应和构建各自的医疗影像研究成果。 NiftyNet 是一个基于 TensorFlow 的开源卷积神经网络平台,来研究医疗影像分析和影像导向的治疗。NiftyNet 有着模块化的架构设计,能够共享网络架构和预训练模型。使用该模块
机器之心
2018-05-10
1.2K0
学界 | 详解微软意识网络架构:具有可解释性的新型类脑AI系统
选自Johns Hopkins University 机器之心编译 参与:Nurhachu Null、李泽南 近日,微软研究院公布的一篇新论文提出了一种新架构,它的内部表征(在执行文本问答任务时)可
机器之心
2018-05-08
1.2K0
没有更多了
社区活动
腾讯技术创作狂欢月
“码”上创作 21 天,分 10000 元奖品池!
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档