首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

真卷啊,快手和国外团队开源最大最新推荐系统Persia,人皆可训练

现在很多深度学习项目,开源是开源了,名义上每个人都可以训练,实则就好比在说,每个普通人都可以几年内奋斗成百万千万富翁。理论上人家这么说没啥可指摘的,开源出来的深度学习项目本来每个人都可以拿来训练的,而实际上则是,拿来训练的前提是有GPU,也就是需要有钱。

在大模型领域,没有最大,只有更大。现如今,十亿参数百亿参数都不值得让我们惊讶了,所以NLP领域再次向更高处冲锋。这次,机智客看相关资讯,是来自快手和苏黎世联邦理工学院研究人员的巨大成果。他们提出这么一个最新的也是最大的推荐系统Persia,据称最高可支持100万亿级参数的模型训练,这货比目前最大的FB-ZionEX推荐系统还高出一个数量级。

也正因为没有最大只有更大,为了能支持如此大的规模同时又保证效率和精度,此次研究成果提出了一种全新的混合训练算法:通过混合异步、同步机制对embedding层和dense层进行分别训练。正因为有如此算法,研究人员才表示,使用这套机制,任何人都可以很容易训练一个百万亿级参数量的模型。

目前这个有论文,在代码托管平台也新建了项目。不得不说,现在的深度学习模型,已经渗入各个细分领域,而且在规模上,也是越来越大。推荐系统同样,也和其他大语言模型一样,类似人类万年不变的阶级思想一样,官大(参数量大)一级压死人。

现在和未来,我们人人活在大模型之下,我们的智能生活和智能推荐,都受大语言模型驱动。虽然我们普通个体受制于数据量和GPU硬件无法训练自己的模型,不过大树底下好乘凉,预训练的大模型庇护下,我们每个人都会受益,以后可能都会被大模型和AI摸准习性,从而形成自己的专属模型,和你自己一样懂你。

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20211224A05MLI00?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

相关快讯

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券