腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
机器之心
专栏成员
举报
9145
文章
6891245
阅读量
281
订阅数
订阅专栏
申请加入专栏
全部文章(999+)
人工智能(999+)
模型(999+)
深度学习(999+)
神经网络(999+)
机器学习(999+)
https(999+)
数据(999+)
其他(999+)
网络安全(999+)
编程算法(963)
论文(709)
开源(633)
NLP 服务(538)
性能(419)
机器人(417)
系统(352)
视频(326)
强化学习(321)
图像处理(307)
工作(304)
算法(300)
python(281)
github(259)
测试(233)
自动驾驶(228)
游戏(224)
设计(222)
网络(219)
gpt(218)
框架(210)
优化(207)
安全(202)
科技(194)
架构(190)
硬件开发(187)
chatgpt(181)
pytorch(177)
tensorflow(174)
产品(154)
监督学习(149)
工具(142)
git(140)
函数(140)
基础(138)
图像识别(133)
开发(129)
卷积神经网络(128)
开发者(126)
芯片(126)
企业(124)
数学(122)
腾讯云测试服务(120)
行业(117)
无人驾驶(116)
openai(116)
语音识别(111)
api(110)
搜索(108)
汽车(107)
分布式(96)
数据库(92)
服务(90)
内存(90)
数据分析(88)
渲染(85)
linux(84)
http(84)
大数据(82)
ide(78)
tcp/ip(78)
声纹识别(76)
网站(75)
效率(75)
存储(72)
自动化(70)
云计算(70)
学习方法(68)
编码(68)
html(66)
研发(65)
sql(64)
keras(64)
人脸识别(63)
数据结构(63)
语音(61)
迁移学习(60)
苹果(60)
计算机(59)
腾讯(57)
隐私计算(56)
手机(55)
机器翻译(54)
缓存(51)
gpu(51)
meta(51)
计算机科学(51)
无监督学习(49)
token(49)
文件存储(48)
对象(48)
LLM(48)
nat(47)
编程(47)
华为(47)
音频(47)
推荐系统(45)
解决方案(44)
工程师(43)
搜索引擎(42)
知识图谱(42)
css(41)
软件(41)
部署(40)
百度(38)
压缩(38)
java(37)
打包(37)
连接(37)
医疗(36)
windows(36)
量化(36)
javascript(35)
公众号(35)
计算机视觉(35)
硬件(35)
数据挖掘(34)
微信(34)
c++(33)
腾讯云开发者社区(33)
迁移(33)
翻译(33)
ios(32)
黑客(31)
创业(31)
arm(30)
批量计算(29)
联邦学习(29)
iphone(28)
numpy(28)
go(27)
云直播(27)
变量(27)
事件(25)
决策树(24)
数据处理(24)
教育(24)
实践(24)
程序(23)
区块链(22)
短视频(22)
nlp(22)
动画(22)
服务器(22)
物联网(21)
fpga(21)
com(21)
编程语言(21)
统计(21)
原理(21)
apache(19)
prompt(19)
插件(19)
语音合成(18)
kernel(18)
5g(18)
互联网(18)
可视化(18)
隐私(18)
程序员(17)
内核(17)
文字识别(16)
markdown(16)
aigc(16)
管理(16)
接口(16)
摄像头(16)
mac os(15)
嵌入式(15)
金融(15)
acl(15)
gan(15)
集合(15)
量子计算(15)
排序(15)
图表(15)
重构(15)
android(14)
opencv(14)
数据可视化(14)
cpu(14)
表格(14)
通信(14)
博客(13)
漏洞(13)
.net(12)
高性能计算(12)
电商(12)
数据安全(12)
爬虫(12)
架构设计(12)
app(12)
编译(12)
地图(12)
数据中心(12)
bash(11)
matlab(11)
访问管理(11)
gui(11)
agent(11)
facebook(11)
脚本(11)
原型(11)
r 语言(10)
node.js(10)
ajax(10)
容器(10)
运维(10)
面向对象编程(10)
线性回归(10)
flash(10)
code(10)
工作流(10)
技巧(10)
教程(10)
面试(10)
配置(10)
数据科学(10)
单片机(9)
容器镜像服务(9)
模式识别(9)
系统架构(9)
lstm(9)
video(9)
操作系统(9)
代理(9)
阿里巴巴(9)
高性能(9)
模块化(9)
索引(9)
协议(9)
异常(9)
元宇宙(9)
php(8)
spring(8)
正则表达式(8)
小程序(8)
腾讯云(8)
acm(8)
bug(8)
scaling(8)
编译器(8)
布局(8)
反射(8)
集群(8)
开源框架(8)
浏览器(8)
入门(8)
软件工程(8)
树莓派(8)
特效(8)
erp(7)
scikit-learn(7)
processing(7)
虚拟化(7)
jupyter notebook(7)
智能创作(7)
adobe(7)
bit(7)
image(7)
ocr(7)
vr(7)
供应链(7)
同步(7)
终端(7)
LoRa(7)
Midjourney(7)
swift(6)
c 语言(6)
json(6)
bash 指令(6)
单元测试(6)
智能客服机器人(6)
graph(6)
patch(6)
pdf(6)
客户端(6)
路由(6)
密码学(6)
日志(6)
移动端(6)
语法(6)
oracle(5)
中文分词(5)
SSL 证书(5)
人脸核身(5)
内容理解(5)
视频处理(5)
express(5)
serverless(5)
devops(5)
spark(5)
ssh(5)
unity(5)
安全漏洞(5)
视频分析(5)
cuda(5)
google(5)
max(5)
models(5)
office(5)
ps(5)
text(5)
递归(5)
后端(5)
计算机图形学(5)
进程(5)
逆向工程(5)
软件开发(5)
图形学(5)
音视频(5)
字符串(5)
脑机接口(5)
比特币(4)
xcode(4)
scala(4)
ubuntu(4)
全站加速网络(4)
DevOps 解决方案(4)
智慧物流(4)
二叉树(4)
rpc(4)
特征工程(4)
sdk(4)
rust(4)
模型测试(4)
视频理解(4)
智慧交通(4)
智能制造(4)
cto(4)
debug(4)
macbook(4)
self(4)
youtube(4)
笔记(4)
二维码(4)
加密(4)
兼容性(4)
流量(4)
拖拽(4)
解释器(4)
费用中心(3)
云服务器(3)
数据万象(3)
数字货币(3)
ruby(3)
access(3)
unix(3)
nginx(3)
apt-get(3)
mapreduce(3)
日志服务(3)
TDSQL MySQL 版(3)
NAT 网关(3)
腾讯云小微(3)
kubernetes(3)
shell(3)
dns(3)
asp(3)
cdn(3)
微服务(3)
canvas(3)
机器学习平台(3)
性能测试(3)
腾讯广告算法大赛(3)
云游戏(3)
流计算 Oceanus(3)
alpha(3)
amd(3)
cs(3)
detection(3)
epoch(3)
excel(3)
glm(3)
instance(3)
intel(3)
interpreter(3)
it(3)
jupyter(3)
keynote(3)
layer(3)
map(3)
mask(3)
mobile(3)
nvidia(3)
object(3)
overflow(3)
pipeline(3)
reddit(3)
robotics(3)
ssm(3)
uber(3)
登录(3)
二进制(3)
跨域(3)
敏捷(3)
排序算法(3)
前端(3)
全栈(3)
调试(3)
异步(3)
云服务(3)
智慧城市(3)
对象存储(2)
perl(2)
c#(2)
lua(2)
react(2)
jquery ui(2)
xml(2)
jquery(2)
qt(2)
云数据库 Redis(2)
django(2)
windows server(2)
黑石物理服务器(2)
命令行工具(2)
检测工具(2)
短信(2)
双螺旋(2)
生物基因(2)
智能交通(2)
出行(2)
智能硬件(2)
svg(2)
互联网金融(2)
html5(2)
hadoop(2)
jvm(2)
yum(2)
selenium(2)
聚类算法(2)
angel(2)
腾讯会议(2)
dart(2)
raft(2)
内容识别(2)
智能推荐平台(2)
手势识别(2)
智能音乐(2)
adapter(2)
bi(2)
block(2)
class(2)
dataset(2)
dsl(2)
e2e(2)
el(2)
embedding(2)
eval(2)
free(2)
gaussian(2)
gif(2)
ipa(2)
kaggle(2)
key(2)
knn(2)
latex(2)
local(2)
mesh(2)
midi(2)
min(2)
module(2)
na(2)
nas(2)
network(2)
next(2)
null(2)
pascal(2)
point(2)
powerpoint(2)
ram(2)
rpa(2)
salesforce(2)
set(2)
similarity(2)
size(2)
stack(2)
state(2)
system(2)
ui(2)
vi(2)
wifi(2)
word(2)
word2vec(2)
yolo(2)
zero(2)
百度飞桨(2)
编辑器(2)
边缘计算(2)
并发(2)
产品经理(2)
动态规划(2)
公有云(2)
黑客马拉松(2)
后台(2)
继承(2)
开源软件(2)
命令行(2)
设计模式(2)
视频编码(2)
数组(2)
图数据库(2)
推荐算法(2)
线程(2)
虚拟机(2)
虚拟现实(2)
用户体验(2)
游戏开发(2)
游戏引擎(2)
远程办公(2)
增强现实(2)
最佳实践(2)
自然语言处理(2)
深度学习框架(2)
向量数据库(2)
云+校园(1)
云点播(1)
云镜(主机安全)(1)
官方文档(1)
认证考试(1)
objective-c(1)
cocoa(1)
actionscript(1)
bootstrap(1)
regex(1)
vue.js(1)
typescript(1)
ecmascript(1)
opengl(1)
汇编语言(1)
composer(1)
云数据库 SQL Server(1)
postgresql(1)
flask(1)
vba(1)
jar(1)
maven(1)
全文检索(1)
云数据迁移(1)
实时音视频(1)
音视频点播加速(1)
智能鉴黄(1)
es 2(1)
专有云(1)
金融风控(1)
智慧零售(1)
工业物联(1)
electron(1)
云联网(1)
babel.js(1)
压力测试(1)
wordpress(1)
hive(1)
sql server(1)
spring boot(1)
npm(1)
seo(1)
kotlin(1)
敏捷开发(1)
socket编程(1)
uml(1)
lamp(1)
ntp(1)
anaconda(1)
sas(1)
haskell(1)
nest(1)
智能外呼机器人(1)
信息流(1)
mqtt(1)
flutter(1)
对话机器人(1)
ddos 攻击(1)
内容安全(1)
云开发(1)
分类算法(1)
接口测试(1)
测试策略(1)
etcd(1)
flink(1)
ghost(1)
媒体处理(1)
智能编辑(1)
数据脱敏(1)
验证码(1)
视频内容安全(1)
应用安全开发(1)
Elasticsearch Service(1)
数据集成(1)
图像标签(1)
图像分析(1)
测试服务(1)
数据湖(1)
自由视角(1)
设计云(1)
腾讯天籁 inside(1)
智慧停车(1)
基础教育(1)
智能家居(1)
小程序·云开发(1)
代码托管(1)
action(1)
ada(1)
alexa(1)
amp(1)
animation(1)
apollo(1)
apple(1)
assertion(1)
atomic(1)
automation(1)
aws(1)
backbone(1)
background(1)
bat(1)
cad(1)
cell(1)
chat(1)
classification(1)
composition(1)
config(1)
connect(1)
container(1)
controller(1)
cookies(1)
copy(1)
cut(1)
data(1)
database(1)
db(1)
diff(1)
difference(1)
direct3d(1)
distance(1)
distribution(1)
drawing(1)
element(1)
email(1)
embed(1)
encoding(1)
entity(1)
equation(1)
error(1)
extract(1)
factory(1)
feed(1)
figure(1)
final(1)
focus(1)
formula(1)
frame(1)
fs(1)
gin(1)
global(1)
gps(1)
gradient(1)
gzip(1)
hierarchy(1)
history(1)
hugo(1)
identifier(1)
ipad(1)
jpeg(1)
julia(1)
label(1)
lambda(1)
list(1)
lm(1)
logic(1)
ls(1)
mac(1)
match(1)
matching(1)
math(1)
matplotlib(1)
matrix(1)
mean(1)
media(1)
medium(1)
memory(1)
microsoft(1)
mips(1)
mnist(1)
modeling(1)
mvp(1)
nft(1)
nio(1)
oceanbase(1)
ode(1)
offline(1)
offset(1)
optimization(1)
output(1)
owl(1)
photo(1)
photoshop(1)
physics(1)
pixel(1)
position(1)
prediction(1)
presto(1)
project(1)
publish(1)
pyramid(1)
random(1)
reduce(1)
reference(1)
relation(1)
rest(1)
rgb(1)
rss(1)
scale(1)
sensors(1)
sh(1)
shift(1)
signature(1)
sketch(1)
slice(1)
slide(1)
smoothing(1)
space(1)
split(1)
src(1)
ssl(1)
store(1)
sum(1)
summary(1)
svm(1)
t4(1)
target(1)
time(1)
tm(1)
torch(1)
tree(1)
twitter(1)
var(1)
verification(1)
vim(1)
web(1)
web3(1)
webp(1)
wix(1)
worker(1)
workspace(1)
z3(1)
zip(1)
备份(1)
遍历(1)
表单(1)
播客(1)
产品设计(1)
队列(1)
多线程(1)
工具类(1)
规范化(1)
混合云(1)
架构师(1)
监控(1)
交换机(1)
局域网(1)
开发工具(1)
开发环境(1)
快捷键(1)
路由器(1)
乱码(1)
求职(1)
权限(1)
上传图片(1)
生命周期(1)
数据采集(1)
数据存储(1)
数据管理(1)
系统设计(1)
小游戏(1)
性能优化(1)
远程工作(1)
云平台(1)
指针(1)
重定向(1)
主机(1)
城市交通(1)
时序预测(1)
梯度下降算法(1)
量子算法(1)
混合现实(1)
深度强化学习(1)
图像分割(1)
3D建模(1)
腾讯混元大模型(1)
幻兽帕鲁(1)
搜索文章
搜索
搜索
关闭
谷歌多模态大模型PaLI:采用参数量为4B的ViT-e,效果超过BEiT-3
css
编程算法
网站
选自arXiv 作者:Xi Chen等 机器之心编译 编辑:张倩 PaLI-17B 在多个 benchmark 上都达到了 SOTA。 语言和视觉任务的建模中,更大的神经网络模型能获得更好的结果,几乎已经是共识。在语言方面,T5、GPT-3、Megatron-Turing、GLAM、Chinchilla 和 PaLM 等模型显示出了在大文本数据上训练大型 transformer 的明显优势。视觉方面,CNN、视觉 transformer 和其他模型都从大模型中取得了很好的结果。language-and-v
机器之心
2022-10-08
833
0
NeurIPS 2022 | Meta 提出二值transformer网络BiT,刷新NLP网络压缩极限
神经网络
css
https
网络安全
机器之心专栏 机器之心编辑部 来自 Meta 和北京大学的研究者在 BERT 模型上验证了二值化 transformer 的可行性。 神经网络压缩一直被视为机器学习模型从实验室走向工业应用中的不可或缺的一步,而量化 (quantization) 又是神经网络压缩中最常用的方法之一。今天这篇 NeurIPS 论文 BiT 从实验和理论验证了极端压缩情况下的 1-bit 的 BERT 网络也能在自然语言处理的分类数据集 GLUE 上取得接近全精度网络的结果,将与全精度网络差距从之前方法的 16% 缩小到了仅
机器之心
2022-10-08
780
0
有效捕捉目标级别语义信息,之江实验室&浙大提出再注意机制TRT
css
访问管理
声纹识别
语音识别
tcp/ip
机器之心专栏 机器之心编辑部 来自之江实验室和浙江大学的研究者提出了一种再注意机制,旨在更有效地捕捉目标级别的语义信息,抑制背景干扰,实现更准确的目标定位能力。 弱监督定位任务(Weakly supervised object localization, WSOL)仅利用图像级别的类别标签,就能实现目标级别的定位功能,因为其细粒度注释的最小化需求大大压缩了人工成本,于近年获得大量关注。 由于缺乏目标级别标签的约束,仅利用图像标签进行分类训练,弱监督定位方法往往倾向于只定位图像中最具判别性的局部区域,难以涵盖
机器之心
2022-08-25
296
0
参数量仅0.5B,谷歌代码补全新方法将内部生产效率提升6%
NLP 服务
ide
css
打包
选自Google AI Blog 作者:Maxim Tabachnyk等 机器之心编译 机器之心编辑部 自 Copilot 问世以来,AI 代码补全工具正变得越来越普遍。在最近的一篇博客中,谷歌又介绍了他们开发的一种混合代码补全方法,而且进行了规模上万人的内部测试。测试结果显示,该方法可以将开发人员的编码效率提升 6%,而且有趣的是,该模型相当小,参数量只有 0.5B。目前,他们 3% 的新代码都是通过接受 ML 代码补全建议生成的。 日益复杂的代码对软件工程的生产力提出了关键挑战。代码补全是一种基本工具
机器之心
2022-08-25
698
0
商汤的数字人研究,在CVPR上成了爆款
图像处理
css
机器之心原创 作者:泽南 在 CVPR 大会上,看数字人技术的最新趋势。 对表情和手势进行精细建模、让数字人跳舞的算法、用 2D 图片生成 3D 模型…… 最近一段时间,AI 领域里面向元宇宙和数字人的新技术越来越多。 人工智能最重要学术会议之一——CVPR 2022 这几天正在进行过程中,今年大会获得的投稿数量超过一万,接收论文数量超过 2000 篇,是历届规模最大的一次。 在大会上,商汤科技及其联合实验室有 71 篇论文被录用,其中近四分之一为 Oral(口头报告)论文。值得关注的是,这些最新研究中有
机器之心
2022-06-24
927
0
文本生成图像这么火,你需要了解这些技术的演变
tcp/ip
ide
erp
css
选自 Intento 作者:Grigory Sapunov 机器之心编译 机器之心编辑部 目前多模态任务成为行业热点,本文梳理了较为优秀的多模态文本图像模型:DALL·E、CLIP、GLIDE、DALL·E 2 (unCLIP)的模型框架、优缺点,及其迭代关系。 OpenAI 最近发布了 DALL·E 2 系统,在 AI 界引发了「地震」,该系统能够根据文本描述创建图像。这是 DALL·E 系统的第二个版本,第一个版本是在近一年前发布的。然而,在 OpenAI 内部,DALL·E 2 背后的模型被称为 u
机器之心
2022-06-07
1.8K
0
Transformer称霸的原因找到了?OpenAI前核心员工揭开注意力头协同工作机理
apache
css
选自Quantamagazine 机器之心编译 作者:Mordechai Rorvig 机器之心编辑部 这家由 OpenAI 前核心员工组成的 AI 创业公司,正在努力打开 Transformer 的黑箱。 在过去的两年里,人工智能在自然语言处理领域的突破达到了惊人的水平。很多重要的突破都是基于谷歌在 2017 年提出的 Transformer 架构。 但在模型之下,我们仍然不知道 Transformer 对其处理的单词做了什么。从普遍的理解来看,它们能够以某种方式关注多个单词,从而可以立即进行「全局」分
机器之心
2022-05-05
439
0
满足不同下游任务特征需求!Sea AI Lab 提出多粒度自监督学习框架Mugs,刷新多项SOTA
面向对象编程
监督学习
css
学习方法
linux
机器之心专栏 机器之心编辑部 由颜水成老师带领的 Sea AI Lab 提出了一种多粒度自监督学习框架 Mugs[1],用以学习不同粒度的非监督特征,从而满足不同下游任务对不同粒度甚至多粒度特征的需求。在相同的实验设置下(相同数据集和模型等),该方法大幅超越了目前最好的自监督学习方法。在没有使用额外数据的情况下,该方法在 ImageNet 数据集上取得了目前最高的线性评估准确率(linear probing accuracy)82.1% 以及最高的 KNN 分类准确率 80.3%。 详细结果请参看 pape
机器之心
2022-05-05
755
0
让移动设备用上轻量级、低延迟的视觉Transformer,苹果搞了个MobileViT
css
机器学习
深度学习
人工智能
神经网络
机器之心报道 机器之心编辑部 在这篇论文中,来自苹果的研究者提出了一种用于移动设备的轻量级通用视觉 transformer——MobileViT。该网络在 ImageNet-1k 数据集上实现了 78.4% 的最佳精度,比 MobileNetv3 还要高 3.2%,而且训练方法简单。目前,该论文已被 ICLR 2022 接收。 论文链接:https://arxiv.org/pdf/2110.02178.pdf 代码链接:https://github.com/apple/ml-cvnets 轻量级卷积神经网
机器之心
2022-05-05
535
0
有人声称「解决了」MNIST与CIFAR 10,实现了100%准确率
深度学习
css
https
网络安全
腾讯云测试服务
机器之心报道 机器之心编辑部 这不是数据泄露了吧? MNIST 识别的准确率已经卷上 100% 了?近日,预印版平台 arXiv 中的一篇论文《Learning with Signatures》引起了人们的关注。 在这项工作中,作者研究了在学习环境中使用 Signature Transform。该论文提出了一个监督框架,使用很少的标签提供了最先进的分类准确性,无需信用分配(credit assignment),几乎没有过拟合。作者通过使用 Signature 和对数 Signature 来利用谐波分析工具
机器之心
2022-04-21
553
0
7 Papers & Radios | 谷歌大牛Jeff Dean撰文深度学习的黄金十年;扩散模型生成视频
css
编程算法
https
网络安全
NLP 服务
机器之心 & ArXiv Weekly Radiostation 参与:杜伟、楚航、罗若天 本周论文包括谷歌大牛 Jeff Dean 发文探索深度学习发展的黄金十年;Google Research 的研究者们提出了一种称为「自洽性(self-consistency)」的简单策略,显著提高了大型语言模型的推理准确率。 目录 A Golden Decade of Deep Learning: Computing Systems & Applications Domain Generalization via
机器之心
2022-04-18
462
0
纯MLP在下游任务上欠佳?Meta AI等提出稀疏MLP,超越transformer
css
html
机器之心报道 机器之心编辑部 来自 Meta AI 和纽约州立大学布法罗分校的研究者分析了 MLP 在表达能力方面的局限性,并提出了在特征和输入(token)维度上带有混合专家系统(MoE)的稀疏激活 MLP。 作为基于注意力模型的替代方案,纯 MLP 架构吸引了越来越多的关注。在 NLP 中,gMLP 等近期工作表明,纯 MLP 在语言建模方面可以达到与 transformer 相当的性能,但在下游任务中弱于 transformer。 来自 Meta AI 和纽约州立大学布法罗分校的研究者分析了 MLP
机器之心
2022-04-18
514
0
识别形式语言能力不足,不完美的Transformer要克服自注意力的理论缺陷
css
编程算法
腾讯云测试服务
选自arXiv 作者:David Chiang、Peter Cholak 机器之心编译 机器之心编辑部 最近一两年,transformer 已经在 NLP、CV 等多样化任务上实现了卓越的性能,并有一统 AI 领域的趋势。那么,推出已近五年的注意力机制真的是所有人需要的吗?近日,有论文检验了 transformer 在两种形式语言上的理论缺陷,并且设计了方法克服这种缺陷。文章还研究了可能出现的长度泛化的问题,并提出了相应的解决方案。 尽管 transformer 模型在许多任务中都非常有效,但它们对一些看起
机器之心
2022-04-13
668
0
搞多模态不了解最新进展?中科院自动化所撰文首个视觉-语言预训练综述
css
tcp/ip
选自arXiv 作者:Feilong Chen等 机器之心编译 编辑:陈萍 一文了解视觉 - 语言预训练最新进展和新领域。 让机器做出与人类相似的反应一直是 AI 研究不懈追求的目标。为了让机器具有感知和思考的能力,研究人员进行了一系列相关研究,如人脸识别、阅读理解和人机对话,通过这些任务训练和评估机器在特定方面的智能。一般来讲,领域专家通过手工构建标准数据集,然后在这些数据集上训练和评估相关模型。然而,由于相关技术的限制,训练模型往往需要大量的标注数据,以获得更好、更强大的模型。 基于 Transfor
机器之心
2022-03-28
427
0
39亿参数模型公开可用,采样速度7倍提升,残差量化生成图片入选CVPR'22
机器学习
神经网络
深度学习
人工智能
css
机器之心报道 编辑:杜伟、陈萍 基于残差量化的自回归图像生成,官方已将代码公开。 向量量化(Vector quantization,VQ)已经成为自回归(AR)模型生成高分辨率图像的一种基本技术,具体来说,该技术将图像特征图通过 VQ 量化后,再进行光栅扫描等排序,之后将图像表示为离散编码序列。量化后,训练的 AR 模型对序列中的编码进行序列预测。也就是说,AR 模型可以生成高分辨率的图像,而无需预测图像中的全部像素。 我们假设减少编码的序列长度对于图像的 AR 建模很重要。短编码序列可以显着降低 AR 模
机器之心
2022-03-28
452
0
Transformer将在AI领域一统天下?现在下结论还为时过早
机器学习
其他
css
深度学习
人工智能
选自 Quanta Magazine 机器之心编译 作者:Stephen Ornes 机器之心编辑部 从自然语言处理任务起家,又在图像分类和生成领域大放异彩,所向披靡的 Transformer 会成为下一个神话吗? 想象一下你走进一家本地的五金店,在货架上看到一种新型的锤子。你听说过这种锤子:它比其他锤子敲得更快、更准确,而且在过去的几年里,在大多数用途中,它已经淘汰了许多其他锤子。 此外,通过一些调整,比如这里加一个附件,那里拧一个螺丝,这种锤子还能变成一把锯,其切割速度能媲美其他任何替代品。一些处于工具
机器之心
2022-03-14
280
0
在注意力中重新思考Softmax:分解非线性,这个线性transformer变体实现多项SOTA
编程算法
css
NLP 服务
机器之心报道编辑:杜伟、陈萍 来自商汤、上海人工智能实验室等机构的研究者用线性 COSFORMER 来取代 transformer 中的 softmax 注意力机制,在多项任务上达到最优。 Transformer 在自然语言处理、计算机视觉和音频处理方面取得了巨大的成功。作为其核心组件之一,softmax 注意力有助于捕获长程依赖关系,但由于序列长度的二次空间和时间复杂度而禁止其扩展。研究者通常采用核(Kernel)方法通过逼近 softmax 算子来降低复杂度。然而,由于近似误差,它们的性能在不同的任务
机器之心
2022-03-04
957
0
解决训练难题,1000层的Transformer来了,训练代码很快公开
http
css
编程算法
机器翻译
机器之心报道 机器之心编辑部 1000 层的 Transformer,深得吓人。 昨日出炉的论文《DeepNet: Scaling Transformers to 1,000 Layers》在研究社区引起了热议,作者来自微软亚洲研究院。 该研究直接把 Transformer 深度提升到 1000 层! 下面让我们看下这篇研究说了什么。 近年来,大规模 Transformer 模型出现了这样一种趋势:随着模型参数从数百万增加至数十亿甚至数万亿,性能相应地实现了显著提升。大规模模型在一系列任务上都取得了 SOT
机器之心
2022-03-04
770
0
完全基于Transformer的目标检测器,ICLR匿名论文实现视觉、检测统一
图像识别
缓存
css
Transformer 在 NLP 任务中取得不错的发展,许多研究将其引入到计算机视觉任务中。毫不夸张的说,Transformer 正在改变计算机视觉的格局,尤其是在识别任务方面。例如 Detection transformer 是第一个用于目标检测的、端到端的学习系统,而 vision transformer 是第一个完全基于 transformer 的图像分类架构。在本文中,一篇被 ICLR 2022 接收的匿名论文集成了视觉和检测 Transformer (Vision and Detection Transformer,ViDT) 来构建有效且高效的目标检测器。
机器之心
2022-02-24
565
0
华人一作统一「视觉-语言」理解与生成:一键生成图像标注,完成视觉问答,Demo可玩
tcp/ip
网站
css
视觉 - 语言预训练 (Vision-Language Pre-training,VLP) 提高了许多视觉 - 语言任务的性能。然而,大多数现有的预训练模型只能在基于理解任务或基于生成任务中表现出色。
机器之心
2022-02-23
486
0
点击加载更多
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
立即查看
Python精品学习库
代码在线跑,知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档