首页
学习
活动
专区
工具
TVP
发布

AI科技大本营的专栏

专栏作者
3088
文章
3123202
阅读量
201
订阅数
赠书 | 一文了解预训练语言模型
来源 | 博文视点 头图 | 下载于视觉中国 近年来,在深度学习和大数据的支撑下,自然语言处理技术迅猛发展。而预训练语言模型把自然语言处理带入了一个新的阶段,也得到了工业界的广泛关注。 通过大数据预训练加小数据微调,自然语言处理任务的解决,无须再依赖大量的人工调参。借助预训练语言模型,自然语言处理模型进入了可以大规模复制的工业化时代。 那到底什么是预训练?为什么需要预训练呢? 预训练 预训练属于迁移学习的范畴。 现有的神经网络在进行训练时,一般基于后向传播(Back Propagation,BP)算法,
AI科技大本营
2023-05-08
2790
程序员大厂不一定要进,算法必须要学!收藏89篇精选算法文章
为什么程序员都需要学算法? 程序员对算法通常怀有复杂情感,算法很重要是共识,但是否每个程序员都必须学算法是主要的分歧点。很多人觉得像人工智能、数据搜索与挖掘这样高薪的工作才用得上算法,觉得算法深不可测。 在面试中,算法题目是必须的,通过算法能够看出一个程序员的编程思维,考察对复杂问题的设计与分析能力,对问题的严谨性都能够体现出来。 一个算法的好坏,直接影响一个方法调用的性能,进而影响软件的整体性能。 算法是每一个技术人员都必须具备的基础能力之一。 算法比起其他编程语言的学习,对理解能力要求更高,学习起来也
AI科技大本营
2023-05-08
1790
给力!斩获 GitHub 14000 Star,两周创办开源公司获数百万美元融资
作者 | 伍杏玲 出品 | AI 科技大本营(ID:rgznai100) 上世纪 90 年代初,21 岁大学生 Linus Torvalds 开源 Linux 操作系统,自此掀起全球开源浪潮。随后“中国 Linux 第一人”宫敏博士用手提肩背的方式将 20 盒磁带背回中国,磁带里装着 80G 容量的自由软件,组建起中国第一个自由软件库,点燃中国开源之火。 20 年时间滑过,中国开源力量在全球舞台上表现亮眼,喜讯不断,捷报连连:今年 3 月,开源被列入“十四五”规划;2020 年成立中国首个开源基金会开放原子
AI科技大本营
2023-05-08
1440
训练 GPT-3,为什么原有的深度学习框架吃不消?
本文梳理了深度学习框架在支持大规模预训练模型时面临的技术挑战,以及当前各类框架的基本解决思路,帮助算法工程师对业界各类框架的分布式训练能力有更清晰的认知。 作者 | 一流科技CEO袁进辉 头图 | 下载于ICphoto 近年来,深度学习被广泛应用到各个领域,包括计算机视觉、语言理解、语音识别、广告推荐等。在这些不同领域中,一个共同的特点就是模型规模越来越大,比如GPT-3模型的参数量达到1750亿,即便拥有1024张80GB A100, 那么完整训练GPT-3的时长都需要1个月。大规模预训练模型及其训
AI科技大本营
2023-05-08
2620
Java 程序员薪资这么高,取决于什么?
众多行业中,程序员当然属于高薪职业。 无论是国内还是国外,IT行业的程序员、工程师,甚至连码农都要比其他行业的从业者的收入高很多! 但是Java程序员拿多少钱跟有多少经验有关系,但经验的多少跟年限没有必然关系。 工作以后一直在别人设置好的框架体系里搬砖,即便干了5年还不是初级程序猿一个! 你工作以后,不断摸索,自己研究框架,自己在搬砖的同时还应用设计模式,有机会还自己玩架构,初级的如SSH,高级一点的,自己也能上手。J2EE、J2SE、J2ME都干过项目。 那你就很优秀了! 最近花了很长的时间去搜罗整理Ja
AI科技大本营
2023-05-08
1400
算网时代新征程,移动云推出技术内核3.0、COCA计算架构
4月25日,2023移动云大会在苏州拉开帷幕。本次大会全方位展现了移动云走过“云改”三年后亮眼的成绩单。在大会上,发布全新移动云战略,启用全新品牌形象、自研核心技术等,强势开启未来新征程。 锚定“一流云商”,强势开启新三年之路 作为云计算“国家队”,一直以来移动云践行“为国建云”使命。2019年,中国移动启动“云改”。三年来,移动云成绩单亮眼,中国移动董事长杨杰表示,2022年移动云收入突破500亿元、较三年前增长25倍,发展创新力、市场竞争力、生态聚合力、品牌影响力明显提升,综合实力跃升至国内云服务商第
AI科技大本营
2023-05-08
2750
腾讯、阿里、字节竟然是这么做数据库的?!
整理 | 田玮靖 出品 | CSDN(ID:CSDNnews) 当前,新一轮科技革命使得数据规模爆炸性增长、数据类型愈发丰富、数据应用快速深化,同时,云数据库、HTAP数据库、AI向量数据库等物种的出现,为数据库领域带来了新的技术难题和业务痛点。如:分布式中的一致性,那么多数据一致性模型,到底有什么不一样?如何保障数据安全与业务稳定发展?云数据库有哪些关键技术,怎么实现?“多云共存”,怎么进行数据库管控? 以上问题有你正在关注、疑惑的地方吗?不妨看看国内大厂都是如何解决诸多难题的吧。 10月23-24日,第
AI科技大本营
2023-04-14
8410
自研代码率超70%,国产大数据基础软件第一股星环科技成功上市!
今早,星环科技上市敲钟,正式登陆科创板,股票代号“N星环-U(688031)”,发售价每股47.34元,开盘后报每股72元,涨幅超52%,截至收盘,星环科技股价报收76元/股,市值达91.8亿元。
AI科技大本营
2022-12-10
5510
天天写业务代码,如何成为技术大牛?
不管是开发、测试、运维,每个技术人员心理多多少少都有一个成为技术大牛的梦,毕竟“梦想总是要有的,万一实现了呢”!正是对技术梦的追求,促使我们不断地努力和提升自己。
AI科技大本营
2021-11-25
5120
GPT-3模型为何难以复现?这也许是分布式AI框架的最优设计
2020 年,最轰动的 AI 新闻莫过于 OpenAI 发布的 GPT-3 了。它的1750亿参数量及其在众多NLP任务上超过人类的出众表现让大家坚信:大模型才是未来。但与之带来的问题是,训练超大模型所需的算力、存储已不再是单机就能搞定的了(之前的 BERT 还是可以用 DGX-1/2 这样的超级服务器训练)。
AI科技大本营
2021-06-08
3.7K0
Java 架构技术揭秘:Redis+Nginx+Dubbo精选+面试题+精选视频
最近花了很长的时间去搜罗整理Java核心技术好文,我把每个Java核心技术的优选文章都整理成了一个又一个的文档。今天就把这些东西分享给小伙伴们,也能为小伙伴们省去不少麻烦,想学什么技能了,遇到哪方面的问题了 直接打开文档学一学就好了。不多说,直接上干货!
AI科技大本营
2021-04-21
4730
PyTorch 1.6、TensorFlow 2.3、Pandas 1.1同日发布!都有哪些新特性?
7月29日,PyTorch 1.6、TenorFlow 2.3、Pandas 1.1恰巧同时发布。这三个库都是定期滚动更新,大约每个季度更新一次小版本。
AI科技大本营
2020-08-06
9600
支持量子机器学习,王海峰发布最新百度飞桨全景图
刚刚,WAVE SUMMIT 2020深度学习开发者峰会上,百度CTO王海峰开场即披露了一组飞桨数据:飞桨累计开发者数量已超过190万,服务企业数量达8.4万家,发布模型数量已超过23万个。
AI科技大本营
2020-05-25
3890
半小时训练亿级规模知识图谱,亚马逊AI开源知识图谱嵌入表示框架DGL-KE
知识图谱 (Knowledge Graph)作为一个重要的技术,在近几年里被广泛运用在了信息检索,自然语言处理,以及推荐系统等各种领域。学习知识图谱的嵌入表示 (Knowledge Graph Embeddings)是一种从知识图谱结构中生成无监督节点特征(node feature)的方法,生成的特征可以被用在各种机器学习任务之上。例如,可以通过节点的嵌入表示来预测两个节点之间是否有链接(link prediction)。
AI科技大本营
2020-04-14
1.7K0
1分钟售出5万张票!电影节抢票技术揭秘
对于电影爱好者来说,每次的电影节、影展活动,都是抢票大战的开启,出票速度几乎可 以用“秒空”来形容,例如上海国际电影节线上开售的记录是 60 秒售出 5 万张。
AI科技大本营
2020-04-01
3930
时至今日,NLP怎么还这么难!
在微博和知乎上关注自然语言处理(NLP)技术的朋友,应该都对#NLP太难了#、#自然语言理解太难了#两个话题标签不陌生,其下汇集了各种不仅难煞计算机、甚至让人也发懵的费解句子或歧义引起的笑话。然而,这些例子只是让人直觉计算机理解人类语言太难了,NLP到底难在哪里,还缺少通俗易懂的介绍。最近刚做完会议投稿,这里花些时间总结下我对这个问题的认识,期望对那些感兴趣NLP的同学有些帮助。欢迎批评意见和建议,未来争取不断更新。
AI科技大本营
2019-12-25
7470
Google和微软分别提出分布式深度学习训练新框架:GPipe & PipeDream
【导读】微软和谷歌一直在致力于开发新的用于训练深度神经网络的模型,最近,谷歌和微软分别发布了新的用于分布式深度学习训练的框架——GPipe 和 PipeDream。下面的内容就带领大家了解一下这两个工具。
AI科技大本营
2019-11-12
7850
DLM:微信大规模分布式n-gram语言模型系统
Wechat & NUS《A Distributed System for Large-scale n-gram Language Models at Tencent》分布式语言模型,支持大型n-gram LM解码的系统。本文是对原VLDB2019论文的简要翻译。
AI科技大本营
2019-09-12
1.3K0
开源sk-dist,超参数调优仅需3.4秒,sk-learn训练速度提升100倍
【导语】这篇文章为大家介绍了一个开源项目——sk-dist。在一台没有并行化的单机上进行超参数调优,需要 7.2 分钟,而在一百多个核心的 Spark 群集上用它进行超参数调优,只需要 3.4 秒,把训练 sk-learn 的速度提升了 100 倍。
AI科技大本营
2019-09-09
1.1K0
从原理到落地,七大维度详解矩阵分解推荐算法
导语:作者在《协同过滤推荐算法》这篇文章中介绍了 user-based 和 item-based 协同过滤算法,这类协同过滤算法是基于邻域的算法(也称为基于内存的协同过滤算法),该算法不需要模型训练,基于非常朴素的思想就可以为用户生成推荐结果。还有一类基于隐因子(模型)的协同过滤算法也非常重要,这类算法中最重要的代表就是本节我们要讲的矩阵分解算法。矩阵分解算法是 2006 年 Netflix 推荐大赛获奖的核心算法,在整个推荐系统发展史上具有举足轻重的地位,对促进推荐系统的大规模发展及工业应用功不可没。
AI科技大本营
2019-08-26
2.5K0
点击加载更多
社区活动
腾讯技术创作狂欢月
“码”上创作 21 天,分 10000 元奖品池!
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档