首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    从头开始了解Transformer

    编者按:自2017年提出以来,Transformer在众多自然语言处理问题中取得了非常好的效果。它不但训练速度更快,而且更适合建模长距离依赖关系,因此大有取代循环或卷积神经网络,一统自然语言处理的深度模型江湖之势。我们(赛尔公众号)曾于去年底翻译了哈佛大学Alexander Rush教授撰写的《Transformer注解及PyTorch实现》一文,并获得了广泛关注。近期,来自荷兰阿姆斯特丹大学的Peter Bloem博士发表博文,从零基础开始,深入浅出的介绍了Transformer模型,并配以PyTorch的代码实现。我非常喜欢其中对Self-attention(Transformer的核心组件)工作基本原理进行解释的例子。此外,该文还介绍了最新的Transformer-XL、Sparse Transformer等模型,以及基于Transformer的BERT和GPT-2等预训练模型。我们将其翻译为中文,希望能帮助各位对Transformer感兴趣,并想了解其最新进展的读者。

    03

    QR分解_矩阵谱分解例题

    测量是人类对居住的这个世界获取空间认识的一种手段,也是认识世界的一种活动。因此,在参与测量活动中,自然会遇到认识活动中的三种情况:a.很容易就发现了不同之处而将甲乙两事物区分开来;b.很容易就发现了相同之处而将甲乙两事物归于一类;c.难于将甲乙两事物区分开来,从而造成认识上的混淆,产生错误的结果。前两者比较易于处理,后者处理起来比较困难。例如,在实地上测量一个点的位置时,至少需要两个要素:或者两个角度,或者两条边长,或者一个角度和一条边长。把已知点视为观察点,将待定点视为目标点,从一个观察点出发,对于目标点形成一个视野。当仅从一个视野或者从两个很接近的视野观察目标时,所获得的关于目标的知识是极其不可靠的,且极为有限的。要获得可靠的知识,必须从至少两个明显不同的视野进行观察。同时,目标点与观察点之间则构成了一个认识系统。这个系统用数学语言表示出来,反应为矩阵。

    03

    教程 | 基础入门:深度学习矩阵运算的概念和代码实现

    选自Medium 机器之心编译 参与:蒋思源 本文从向量的概念与运算扩展到矩阵运算的概念与代码实现,对机器学习或者是深度学习的入门者提供最基础,也是最实用的教程指导,为以后的机器学习模型开发打下基础。 在我们学习机器学习时,常常遇到需要使用矩阵提高计算效率的时候。如在使用批量梯度下降迭代求最优解时,正规方程会采用更简洁的矩阵形式提供权重的解析解法。而如果不了解矩阵的运算法则及意义,甚至我们都很难去理解一些如矩阵因子分解法和反向传播算法之类的基本概念。同时由于特征和权重都以向量储存,那如果我们不了解矩阵运算

    013
    领券