from=search&seid=12903800853888635103 点积的标准观点 如果我们有两个维数相同的向量，他们的点积就是对应位置的数相乘，然后再相加： 从投影的角度看，要求两个向量v和w...的点积，可以将向量w朝着过原点的向量v所在的直线进行投影，然后将w投影后的长度乘上向量v的长度（注意两个向量的的夹角）。...假设我们有两个长度完全相同的向量v和w，利用其对称性，无论将v投影到w上还是将w投影到v上，结果都是一样的： 如果我们把其中一个向量变为2倍，这种对称性被破坏了。...所以对于两个向量的点积来说，无论选择哪个向量进行投影，结果都是一样的。 问题又来了，投影的思路和对位相乘再相加的思路，有什么联系呢？...但很接近： 假设我们把第一个向量变为变量，输入一个向量(x,y,z)，通过矩阵的行列式得到一个数，这个数就代表我们输入的向量与v和w所组成的平行六面体的有向体积： 为什么要这么定义呢？
内积 是将一个向量投影到另一个向量上的操作。直观地说，它同时衡量了向量之间的距离和角度。 L2 或欧几里得距离 L2 或欧几里得距离是最直观的距离度量。我们可以将其想象为两个物体之间的空间量。...将这些数字列表上下对齐，然后向下相减。接着，将所有结果平方并相加。最后，取平方根。 Milvus[9] 跳过了平方根步骤，因为平方根处理前后的排名顺序是相同的。...这样，我们可以省去一个操作步骤并得到相同的结果，降低延迟和成本，提高吞吐量。下面是一个欧几里得或 L2 距离如何工作的例子。...首先，将数字向下相乘，然后将所有结果相加。现在保存这个数字；称它为“x”。接下来，我们必须将向量中的每个数字平方，并将平方的结果相加。...想象一下，对于两个向量，将每个向量中的数字按水平方向平方，之后相加求和。 接着，对这两个和求平方根，然后将它们相乘，称这个结果为“y”。我们将余弦距离的值定义为“x”除以“y”。
向量有两种基本运算：即向量加法和向量数量乘法 向量的加法 如上所示，描述了两个向量相加，它的计算规则如下： 相加的两个向量其维度必须相等 把向量中的分量(即向量中的每个数)分别想加，最终构成的向量就是其相加后的结果...如上所示，描述了向量与向量相乘，它的计算规则如下： 相乘的两个向量，其维度必须相等 把两个向量的分量分别相乘，将其结果相加，最终得到的标量就是其相乘后的结果 实现向量的运算 上面我们讲解了向量的两个基本运算...: 将每个向量中的元素互相进行乘法运算，将得到的结果相加 for (let i = 0; i < this.getDimension(); i++) {...，与拆分出来的每个列向量进行点乘运算，将返回的向量放在一起，构建成出的新的矩阵就是其相乘得到的结果。...const colVector = matrix.colVector(j); // 将行向量与列向量进行点乘，将结果放进结果行向量数组中
这里面的 n 就是向量的维 向量和标量最大的区别在于，向量除了拥有数值的大小，还拥有方向。向量或者矢量中的“向”和“矢”这两个字，都表明它们是有方向的。 为什么这一串数字能表示方向呢？...有了这些特点，我们就可以定义向量之间的加法、乘法（或点乘）、距离和夹角等等。 两个向量之间的加法，首先它们需要维度相同，然后是对应的元素相加。...在这张图中，有两个向量 x 和 y，它们的长度分别是 x’和 y’，它们的相加结果是 x+y，这个结果所对应的点相当于 x 向量沿着 y 向量的方向移动 y’，或者是 y 向量沿着 x 向量的方向移动...我们可以将这两个文档表示为词频向量，其中每个维度代表一个词汇，值表示该词汇在文档中的频率。然后，可以使用余弦相似度来比较这两个文档的相似性。...如果它们在感兴趣的商品类别上有很多重叠，余弦相似度将接近1，表示这两个用户的兴趣相似。 图像相似度： 在计算机视觉中，余弦相似度也可以用于比较图像。
因为h 是函数的结果，所以h′也是函数的结果。因此，我们有导数函数f'（u）= h'。 不幸的是，我们不知道这些函数是什么东西。但可以近似它们，可以比较纹理中两个不同点的高度。...首先，将新法线乘以 MzDz。之所以可以这样做，是因为之后无论如何都要进行归一化。这给了我们向量 ? 然后降低X和Y的缩放比例，得到 ?...必须转换凹凸贴图代码的结果，使其与表面的实际方向匹配。 我们能知道一个表面的方向吗？ 为此，我们需要定义U和V轴的向量。这两个，加上法线向量，定义了一个与我们的假设相符的3D空间。...一旦有了这个空间，我们就可以使用它来将凹凸转换为世界空间。 因为我们已经有了法线向量 N，只需要多一个附加向量。这两个向量的叉积定义了第三个向量。 提供附加向量作为网格顶点数据的一部分。...只要两个转换使用相同的算法和切线空间，此过程就可以正常进行。如果他们不这样做，那么游戏中的结果就是错误的。这可能会让3D美术师感到非常难过。
英语和德语同属日耳曼语族，有很多相同的 subword，可以共享类似的语义。而像中英这样相差较大的语系，语义共享作用可能不会很大。...当然，在相同初始化方法前提下，两种方式得到的 word Embedding 可能方差会有差别，但是，BERT还有Layer Norm，会把 Embedding 结果统一到相同的分布。...论文中解释是：向量的点积结果会很大，将 softmax 函数 push 到梯度很小的区域，scaled 会缓解这种现象。怎么理解将 sotfmax 函数 push 到梯度很小区域？...还有为什么 scaled 是维度的根号，不是其他的数？ LinT 的回答 为什么比较大的输入会使得softmax的梯度变得很小？...Sliding Window 即把文档分成有重叠的若干段，然后每一段都当作独立的文档送入BERT进行处理。最后再对于这些独立文档得到的结果进行整合。
我们先找到由两个单位向量构成的单位矩阵 ，为了方便后面的理解，我们不妨给这两个向量补充一个 分量，视作 ，分别对应图中的绿色向量与红色向量。...矩阵加法就是把两个同型号矩阵，根据元素对应两两相加得到新矩阵，例如： 不妨用图解进一步了解其意义： 原标准空间： 矩阵变换 为： 矩阵变换 为： 结果变化 为： 可以用向量加法的原理把得到的变换...意味着在初始坐标系下将 与 向量组相加，再在 空间中解释 与 向量组相加后的结果；而 意味着先在A空间中取 , ，再在初始坐标系将它们相加，还是以列向量视角看，在上一节讲述矩阵与向量乘时用了"参照"的概念...因此分配律是成立的。 意即在初始坐标系下将 与 相加，再于新空间中对 中的列向量进行解释。 意即分别在 与 变换后的空间中解释 中的列向量，再在初始坐标系下将向量组相加。...若组合 与 两个向量组出现维度交集，即存在维度 ，则计算 时， 会受到抵消，则显然 即对组成 ， 各自的向量进行相加。
从不同学生的视角看，有以下三种观点： 物理专业学生的视角：向量是空间中的箭头，决定一个向量的是它的长度和所指的方向，只要这两个要素相同， 向量可以任意移动。...7、点积 点积的标准观点 如果我们有两个维数相同的向量，他们的点积就是对应位置的数相乘，然后再相加： ?...从投影的角度看，要求两个向量v和w的点积，可以将向量w朝着过原点的向量v所在的直线进行投影，然后将w投影后的长度乘上向量v的长度（注意两个向量的的夹角）。 ? ?...当两个向量的夹角小于90度时，点积后结果为正，如果两个向量垂直，点积结果为0，如果两个向量夹角大于90度，点积结果为负。 一个有趣的发现是，你把w投影到v上面，或者把v投影到w上面，结果是相同的。...但是你不觉得上面两个过程是完全不同的嘛？接下来就直观解释一下。 假设我们有两个长度完全相同的向量v和w，利用其对称性，无论将v投影到w上还是将w投影到v上，结果都是一样的： ?
而 why 的问题，也就是它为什么 work 的机制，是一个更难的问题，正吸引越来越多的研究者从不同的角度和视野去挑战。 哈士奇还是狼？...将同一个希尔伯特空间的状态（state）来一统不同粒度的语言单元。包括可学习组件也将嵌入到与词语相同的希尔伯特空间，这样人们有机会去通过人类易于理解的语言单元（比如词级别）来诠释学习到的组件。...复值语义组合 将词向量相加来表示句子是一个非常常见的做法，在一些文本分类的任务中，直接对文本的所有词的词向量平均，然后接一个全联接层就可以得到不错的结果。...当对两个复数相加时，不是直接对振幅进行相加，同时会考虑它们的相位信息，有的时候振幅相加会得到增益的效果，有时候可以得到相消的结果。...第二个例子是一个稍难一点的例子，因为两个需要匹配的两个文本片段，包含有一些不重叠的词。这类匹配例子寄希望于词向量的软匹配能力。 ? 结果 实验结果取得与一些经典模型可比较的结果。
从不同学生的视角看，有以下三种观点： 物理专业学生的视角：向量是空间中的箭头，决定一个向量的是它的长度和所指的方向，只要这两个要素相同， 向量可以任意移动。...“ 7、点积 ” 点积的标准观点 如果我们有两个维数相同的向量，他们的点积就是对应位置的数相乘，然后再相加： ?...从投影的角度看，要求两个向量v和w的点积，可以将向量w朝着过原点的向量v所在的直线进行投影，然后将w投影后的长度乘上向量v的长度（注意两个向量的的夹角）。 ? ?...当两个向量的夹角小于90度时，点积后结果为正，如果两个向量垂直，点积结果为0，如果两个向量夹角大于90度，点积结果为负。 一个有趣的发现是，你把w投影到v上面，或者把v投影到w上面，结果是相同的。...但是你不觉得上面两个过程是完全不同的嘛？接下来就直观解释一下。 假设我们有两个长度完全相同的向量v和w，利用其对称性，无论将v投影到w上还是将w投影到v上，结果都是一样的： ?
现在我们有了这两个列向量，我们只需将它们相加即可生成另一个大小为C=48的列向量。 现在，我们对输入序列中的所有token运行相同的过程，创建一组包含token值及其位置的向量。...我们会经常看到的点乘运算非常简单：我们将第一个向量中的每个元素与第二个向量中的相应元素配对，将这对元素相乘，然后将结果相加。...如果两个向量非常不同，点积就会很小或为负。 只将query向量与过去的key向量进行运算，使得它成为因果自注意力。也就是说，token无法「预见未来」。...我们查看归一化自注意力矩阵的（t=5）行，并将每个元素与其他列的相应V向量相乘。 然后，我们可以将这些向量相加，得出输出向量。因此，输出向量将以高分列的V向量为主。...对于每一行，需要记录该行的最大值和经过移位与指数化处理后的值的总和。然后，为了得到相应的输出行，可以执行一系列操作：减去最大值，进行指数化处理，再除以总和。 那么，为什么叫「softmax」呢？
向量相加 相同维度的两个向量可以进行相加，结果向量的维度与原向量相同且每个维度数值为两个相加向量对应维度数值之和，如下： ? 向量加法满足三角形法则和交换律，如下： ?...；两个相加向量和其结果向量平移之后刚好会组成一个三角形，这就是向量加法的三角形法则。...向量相减 相同维度的两个向量还可以进行相减，结果向量的维度依然和原向量相同，但是每个维度数值为两个相减向量对应维度数值之差，如下： ?...另外从几何意义上来说向量点乘等于两个向量的大小与向量夹角的 cos 值的积，那么 OA 向量和 OB 向量的点乘结果又等于： ? 上述两个结果是相等的，证明如下： ?...，OH 向量和 OE 向量叉乘最终结果为 OJ 向量；拆看来看 OF 向量 和 OE 向量叉乘得到 OI 向量，OG 向量和 OE 叉乘得到 OF 向量，而 OF 向量和 OI 向量相加最终结果也是 OJ
||v||^2 = x^2 + y^2 4、标量与向量的乘法 虽然标量与向量不能相加，但它们可以相乘。结果将得到一个向量。与原向量平行，但长度不同或者方向相反。...3D环境中单位向量将接触单位球。 6、向量的加法和减法 两个向量的维数相同，那么它们能相加，或者相减。结果向量的维数与原向量相同。向量加减法的记发和标量加减法的记法相同。...9、向量投影 给定两个向量v和n,能够将v分解成两个分量， 它们分别垂直和平行于向量n，并且满足 两向量相加等于向量v，一般称平行分量为v在向量n上的投影。...如果参数的顺序是相反的结果向量将指向正好相反的方向，但将有相同长度。向量叉乘的结果的大小等于输入向量的乘积，然后通过它们之间的角度的正弦值乘以该值的大小。 ?...两个向量的点乘所得到的是两个向量的余弦值，也就是-1 到1之间，0表示垂直，-1表示相反，1表示相同方向。 两个向量的叉乘所得到的是两个向量所组成的面的垂直向量，分两个方向。
编码器 编码器的架构如上图所示，可以看到很有趣的是这里有两个编码器，并且两个编码器之间还存在数据的传输，作者将这两个编码器命名为主自动编码器（图右）和辅助自动编码器（图左），两个编码器共享相同的网络结构和参数配置...stage0的输出相同的大小）之后的结果相加所得。...9，在整个图像中进行卷积即可，卷积之后就会得到3x3x9的数据，这时再将3x3平铺为维数为9的向量即可，这样我们就得到了长度为9，维数也为9的一组token，就成功的将2D的图像数据转换位1D的数据。...特征融合网络 整个网络比较简单，从下而上，首先是一个卷积层，这个卷积层的作用应该和我们之前提到的将图片数据转换为一维数据的卷积层的功能是相同的，即使用卷积对整个图片进行卷积，然后将得到的结果的前两维铺平...这里我有个疑问，在我的认知里，VIT输出的token如果直接与卷积的结果进行相加，是不是还需要将token的维数转换下？
为什么 Transformer 的 Embedding 最后要乘？ 为什么 BERT 的三个 Embedding 可以进行相加？...实验结果如下图： 第E行就是学习式的实验结果，PPL（越低越好）和base相同，BLEU（越高越好）低了0.1。可以看出确实差不多。那为什么bert使用学习式呢？...因为 Bert 使用的是学习式的Embedding，所以 Bert 这里就不需要放大。 Q: 为什么 Bert 的三个 Embedding 可以进行相加？ 解释1....从梯度的角度解释：(f + g + h)’ = f’ + g’ + h’ 参考：为什么 Bert 的三个 Embedding 可以进行相加？...Q: 为什么在进行 softmax 之前需要除以 A: 防止梯度消失 论文中的解释是：向量的点积结果会很大，将 softmax 函数 push 到梯度很小的区域，scaled 会缓解这种现象。
点击 "阅读原文" 可以获得更好的阅读体验。 前言 今天的角度比较清奇，我们来讲讲矩阵的乘法。...教科书告诉你，计算规则是，第一个矩阵第一行的每个数字（2和1），各自乘以第二个矩阵第一列对应位置的数字（1和1），然后将乘积相加（ 2 x 1 + 1 x 1），得到结果矩阵左上角的那个值3。 ?...列向量视角 先将矩阵 和 的每一列看成一个向量，例如： 这样就可以把矩阵 和 写成如下的形式： 现在如果我将矩阵 和向量 相乘会得到什么？...到这里你应该能领悟为什么矩阵 的行数与矩阵 的行数相同了，也就是矩阵 的列向量与矩阵 的列向量大小相同。 怎么样，是不是有一种茅塞顿开的感觉？别急，下面我们再换一种理解角度。...现在你应该能领悟为什么矩阵 的列数与矩阵 的列数相同了，也就是矩阵 的行向量与矩阵 的行向量大小相同。 故事到这里就结束了吗？远远没有，下面我们再换一种理解角度。
领取专属 10元无门槛券
手把手带您无忧上云
