godweiyang

LV1
发表了文章

训练BERT,我只花了一半的时间

相信很多人都知道Hugging Face,也都用过它的Transformers预训练语言模型,但你们有没有觉得它训练的有点太慢了呢?

godweiyang
发表了文章

Transformer全靠数据堆?那没有数据怎么办?LUT告诉你「冇问题」|AAAI 2021

你是否曾遇到这样的场景:在陌⽣的国家旅游因为听不懂当地⼈说话只能咿咿呀呀、⼿语⽐划、连蒙带猜?

godweiyang
发表了文章

原来算法还能这样用图画出来?

大家好,我是小K,一个配图排版追求极致,思维独特逻辑清晰的写手,专注分享算法,数学等硬核知识。

godweiyang
发表了文章

只用两行代码,我让Transformer推理加速了50倍

最近有学妹问我,我训了一个Transformer模型,但是预测好慢啊,有啥解决方案吗?

godweiyang
发表了文章

搞懂 Vision Transformer 原理和代码,看这篇技术综述就够了(二)

本文为详细解读Vision Transformer的第二篇,主要包括三个方向的分类:可变形的Transformer ,用于分类任务的Transformer ,用...

godweiyang
发表了文章

搞懂Vision Transformer 原理和代码,看这篇技术综述就够了(三)

本文为详细解读Vision Transformer的第三篇,主要解读了两篇关于Transformer在识别任务上的演进的文章:DeiT与VT。它们的共同特点是避...

godweiyang
发表了文章

搞懂 Vision Transformer 原理和代码,看这篇技术综述就够了(四)

本文为详细解读Vision Transformer的第四篇,主要包括2种vision Transformer的内部机制,即:1. 如何更好地利用图像patch内...

godweiyang
发表了文章

PyTorch自定义CUDA算子教程与运行时间分析

最近因为工作需要,学习了一波CUDA。这里简单记录一下PyTorch自定义CUDA算子的方法,写了一个非常简单的example,再介绍一下正确的PyTorch中...

godweiyang
发表了文章

三分钟教你如何PyTorch自定义反向传播

在前面两篇教程中,我们详细讲解了如何编写cuda算子,并用PyTorch进行调用,并且详细讲述了三种编译cuda算子的方式,具体可以看前面两篇:

godweiyang
发表了文章

详解PyTorch编译并调用自定义CUDA算子的三种方式

「上一篇教程:」 https://godweiyang.com/2021/03/18/torch-cpp-cuda

godweiyang
发表了文章

熬了几个通宵,我写了份CUDA新手入门代码

在用PyTorch或者TensorFlow搭积木的时候,你是不是也遇到过下面这些情况:

godweiyang
发表了文章

深度强化学习之:PPO训练红白机1942

本公众号MyEncyclopedia定期发布AI,算法,工程类深度和前沿文章。欢迎关注,收藏和点赞。本系列将从原理和代码来循序渐进讲解强化深度学习。

godweiyang
发表了文章

机器翻译界的BERT:可快速得到任意机器翻译模型的mRASP

今天给大家介绍EMNLP2020的一篇关于多语言翻译新范式的工作multilingual Random Aligned Substitution Pre-tra...

godweiyang
发表了文章

微信电脑版重大更新,可以上班刷朋友圈摸鱼了

然后是可以刷朋友圈了,这是最重磅的一大更新了,上班再也不用担心刷手机摸鱼被发现了!

godweiyang
发表了文章

SOTA来啦!BERT又又又又又又魔改了!DeBERTa登顶GLUE~

DeBERTa刷新了GLUE的榜首,本文解读一下DeBERTa在BERT上有哪些改造

godweiyang
发表了文章

AAAI21 | Seq2Seq模型成为“复读机”的原因找到了?

经过学习,笔者发现该论文确实有不少可圈可点之处,值得一读。笔者对原论文中的分析过程做了一些精简、修正和推广,将结果记录成此文,供大家参考。此外,抛开问题背景不讲...

godweiyang
发表了文章

【EMNLP2020】“自言自语”来实现无监督常识问答

Paper: Unsupervised Commonsense Question Answering with Self-Talk Link: arxiv.or...

godweiyang
发表了文章

Facebook刷新开放域问答SOTA:模型训模型!Reader当Teacher!

一部问答系统发展史就是一部人工智能发展史。早在1950年的图灵测试就提出:如果人类无法通过问答将机器和人区分开,那么这个机器就可以被认为具有智能。问答系统和人工...

godweiyang
发表了文章

内卷的世界,我们是否可以换一种思维生活?

由于见识有限,不知道其他行业卷成什么样。这里就以我了解的CV领域卷的程度来做个介绍。

godweiyang
发表了文章

打脸!一个线性变换就能媲美“最强句子embedding”?

BERT-flow来自论文《On the Sentence Embeddings from Pre-trained Language Models》[1],中了...

godweiyang

个人简介

个人成就

扫码关注云+社区

领取腾讯云代金券