(全文完)
前言 为什么需要引入逆变、协变和双向协变这些概念 因为考虑到类型兼容,详情参考https://www.typescriptlang.org/docs/handbook/type-compatibility.html...animal 实例上缺少属性 'bark' 协变和逆变 如何处理类型兼容呢？...通过协变和逆变原则 协变与逆变(covariance and contravariance)是在计算机科学中，描述具有父/子型别关系的多个型别通过型别构造器、构造出的多个复杂型别之间是否有父/子型别关系的用语...维基百科上关于协变和逆变的解释有点晦涩难懂。...，是符合逆变的，函数的关系和参数的关系是相反的。
背景 文接上回，说到过Java的泛型擦除问题，这块我又联想到一个有意思的考点泛型的协变和逆变。...一、协变 首先Java的数组是协变的，所以假设A是B的父类，那么A[]是可以保存A或者B的对象的，并且A[]是B[]的父类。 ，写谁都会写，子类型限定。...逆变同样也是在各类源码中层出不穷，结合协变的理解，这块相信大家应该不难理解。 常见的例子比如，List<?...小结 1、协变、逆变的区别要分清 2、另外，再提一点泛型和通配符的区别，当然也可以结合第一点理解， 用于定义泛型类和方法，擦除后为AAA类型； 用于声明方法的形参，接收AAA和其子类型。
前言 在引用类型系统时，协变、逆变和不变性具有如下定义。 这些示例假定一个名为 Base 的基类和一个名为 Derived的派生类。...以上来自于官方文档对协变、逆变、不变性的解释 为啥C#需要协变和逆变？...在C#中，目前只有泛型接口和泛型委托可以支持协变和逆变， 协变(Covariance) 内置的泛型协变接口，IEnumerator、IQuerable、IGrouping<Tkey, TElement...、方法或者委托的输入参数 当要进行类型转换，占位符T要转换的目标类型也必须是其子类，上述例子则是FooBase转为Foo 总结 协变和逆变只对泛型委托和泛型接口有效，对普通的泛型类和泛型方法无效 协变和逆变的类型必须是引用类型...，因为值类型不具备继承性，因此类型转换存在不兼容性 泛型接口和泛型委托可同时存在协变和逆变的类型参数，即占位符T 参考 泛型中的协变和逆变 | Microsoft Docs 《你必须知道的.NET（第2
版本：1.15.0 基本概念：标量、一维向量、二维矩阵、多维张量。...1、pytorch中的张量 （1）通过torch.Tensor()来建立常量 ?...我们传入的值就不能是一个列表了，需要一个张量，我们可以这么做： ? 这也可以说明常量是可以转换为变量的。但需要注意的是由常量转换而来的变量就不是原来的常量了： ?...（3） 通过torch.tensor()更加灵活的建立常量和变量 我们还需要注意的是使用torch,Tensor()和torch.tensor()以及Variable()区别：这里可以直接传入一个列表啦...2、tensorflow中的张量 在tensorflow中，可以通过tf.consatnt()和tf.Variable()来建立张量，与pytorch旧版本类似的是，tf.constant()对应torch.Tensor
泛型类型参数支持协变和逆变，可在分配和使用泛型类型方面提供更大的灵活性。 2....数组也继承了这一特性，对于一个string[]类型而言 理解了上述概念后，让我们来看看协变和逆变的概念，这里我们只谈谈关于接口可变性中的一些内容。以下我简单给出一个接口及其实现。...也正是因此，为了防止开发者写出错误的代码，.net 设计者便用了协变和逆变（对应 out 和 in 关键字）来强制要求正确行为。...所以归根到底，协变和逆变只是一种约束而已，这种规范限制了你的泛型接口中要么只能有将类型参数当作返回值的协变相容方法（加了 out 关键字），要么只能有将类型参数当作输入值的逆变相容方法（加了 in 关键字...本文针对的是对协变和逆变存在部分理解但是仍然有些迷糊的开发者群体，而笔者也忙于新技术的理解和投入使用，有段时间没能分享所学所得，这次也只是花了十几分钟撷取了重要概念记录答疑，希望能帮到一部分人，以上就是我的期望了
背景 文接上回，说到过Java的泛型擦除问题，这块我又联想到一个有意思的考点泛型的协变和逆变。...一、协变 首先Java的数组是协变的，所以假设A是B的父类，那么A[]是可以保存A或者B的对象的，并且A[]是B[]的父类。 ，写谁都会写，子类型限定。...逆变同样也是在各类源码中层出不穷，结合协变的理解，这块相信大家应该不难理解。 常见的例子比如，List<?...小结 1、协变、逆变的区别要分清。 2、另外，再提一点泛型和通配符的区别，当然也可以结合第一点理解， 用于定义泛型类和方法，擦除后为AAA类型； 用于声明方法的形参，接收AAA和其子类型。
节点（Nodes）在图中表示数学操作，图中的线（edges）则表示在节点间相互联系的多维数据数组，即张量（tensor）。...TensorFlow 最初由Google大脑小组（隶属于Google机器智能研究机构）的研究员和工程师们开发出来，用于机器学习和深度神经网络方面的研究，但这个系统的通用性使其也可广泛用于其他计算领域。...二 张量数据结构 TensorFlow的数据结构是张量Tensor。Tensor即多维数组。Tensor和numpy中的ndarray很类似。...1，Tensor的维度 rank 标量为0维张量，向量为1维张量，矩阵为2维张量。 彩色图像有rgb三个通道，可以表示为3维张量。 视频还有时间维，可以表示为4维张量。 ? ?...实际上我们完全可以让step3,step4和step1,step2这两组计算同时由不同的机器进行。 表达成计算图后，计算之间的依赖和独立关系变得非常清晰。
加、减、乘、除 加、减、乘、除是最基本的数学运算，分别通过 torch.add、torch.sub、torch.mul 和 torch.div 函数实现，Pytorch 已经重载了 +、-、* 和 /...y 的第一个元素为 0，而在 x 和 y 进行除法运算时，y 中的 0 作为了除数。...]]) # 此时将张量y的形状变成(1, 4) y = y.reshape(1, 4) # 此时x和y不满足广播机制 print(x * y) ''' Traceback (most recent call...这是因为生成张量 x 和 y 的类型不一致，当然本小节使用的都是 torch.arange 函数生成张量 y，这也是为了说明类型陷阱的问题。...矩阵乘法要求相乘的张量类型一致； 原地操作由于将运算后的张量赋值给原始张量，但是如果运算后的张量和原始张量的类型不一样，也会抛出错误。
例如时间序列数据（可以认为是在时间轴桑有规律地采样形成的一维网格）和图像数据（可以看做二维的像素网格）。 卷积是一种特殊的线性运算。...软件实现通常使用批处理模式，所以实际上会使用4维张量，第4维用于标明批处理中不同的实例。 因为卷积网络通常使用多通道的卷积，所以即使使用了核翻转，也不一定保证网络的线性运算是可交换的。...只有当其中每个运算的输出和输入都有相同的通道数时，这些多通道的运算才是可交换的。 假设有一个4维的核张量K，它的每一个元素是 ?...这里对所有的l、m和n进行求和是对所有的有效张量索引值进行求和。 有时候希望跳过核中的一些位置来降低计算的开销（相应的代价是提前特征没有先前那么好了）。可以把这一过长看做是对去案卷级函数输出的下采样。...在这种情况下，多层感知机对应的邻接矩阵是相同的，但每一个连接都有它自己的权重，用一个6维张量W来表示，W的索引分别是：输出的通道i，输出的行j和列k，输入的通道l，输入的行偏置m和列偏置n。
这里略去了课程中部分线性代数基础笔记，只记录了自己理解得不够深刻的部分 张量算法的基本性质 标量、向量、矩阵和任意数量轴的张量（本小节中的“张量”指代数对象）有一些实用的属性。...我们可以对任意张量进行的一个有用的操作是计算其元素的和。...默认情况下，调用求和函数会沿所有的轴降低张量的维度，使它变为一个标量。我们还可以指定张量沿哪一个轴来通过求和降低维度。...以矩阵为例，为了通过求和所有行的元素来降维（轴0），我们可以在调用函数时指定axis=0。由于输入矩阵沿0轴降维以生成输出向量，因此输入轴0的维数在输出形状中消失。...\textbf{x}中的值根据权重\textbf{w}的加权和，可以表示为点积\textbf{x}^\top \textbf{w}。
预训练权重本质上是已经训练好的模型参数。在深度学习中，模型的参数通常以一些权重矩阵和偏置向量的形式存在，这些权重和偏置是通过反向传播算法从大量的训练数据中学习得到的。...当预训练过程结束后，将生成一组最优的模型参数（即权重矩阵和偏置向量），这些参数可以用于其他任务的初始值，从而加速模型的训练过程和提高模型的性能。...使用预训练权重时，预训练模型已经学习到一些通用的特征和模式，可以作为目标检测任务中的初始值，从而减少训练时间和训练数据的需要。...请注意，不使用预训练权重可能需要更多的训练数据和更长的训练时间来达到与使用预训练权重相当的性能。...当然，要根据具体任务来决定应该冻结哪些层，以获得最好的训练效果。 九、冻结训练和权重之间有什么关系？ 模型冻结训练和权重之间是有关系的。
标量（Scalar）: 是0阶张量，代表单一数值。 2. 向量（Vector）: 是1阶张量，即一维数组。 3. 矩阵（Matrix）: 是2阶张量，即二维数组。 4....高阶张量: 三维及以上维度的数组，如三维张量可以想象为一个立方体，每个元素都有三个索引。 张量运算包括但不限于以下几种： - 加法运算：两个同阶张量的对应元素相加。...- 缩并运算（Contracting）：选择张量中的两个或多个维度进行求和操作，减少张量的阶数。 - 内积运算：通过选取张量中的某些维度进行配对相乘并求和，得到更低阶的张量。...- 转置与切片：改变张量的维度顺序或提取张量的部分数据。 应用场景： - 深度学习：神经网络中的权重、激活函数输出、输入数据等通常表示为张量，张量计算是实现前向传播、反向传播及优化过程的基础。...- 图像处理：图像可以视为三维张量（高度、宽度、颜色通道），张量运算用于图像的滤波、卷积、池化等操作。 - 自然语言处理：文本数据可以编码为高维张量，用于词嵌入、句子表示等任务。
记住，阶是一个常用的词它表示张量中维数。...然而，我们可能无法在高维空间中使用行和列这种描述，但对于高维的张量来说，其基本逻辑是相同的。...Unsqueezing（解压缩）一个张量会增加一个长度为1的维数。 这些函数允许我们扩展或缩小张量的阶(维数)。让我们看看它是如何运作的。...一、Flatten A Tensor 对一个张量进行flatten（扁平化）操作可以reshape这个张量，使其形状等于张量中包含的元素的数目。这就和一维数组的元素一样。...squeezing 操作之后，删除第一个轴(axis-0)，我们就得到了想要的结果，长度为12的一维数组。
而融合文本和图像的方法主要有三种：基于简单操作的，基于注意力的，基于张量的方法。 a) 简单操作融合办法 来自不同的模态的特征向量可以通过简单地操作来实现整合，比如拼接和加权求和。...注意力机制通常指的是一组“注意”模型在每个时间步动态生成的一组标量权重向量的加权和[11][12]。这组注意力的多个输出头可以动态产生求和时候要用到的权重，因此最终在拼接时候可以保存额外的权重信息。...然而，基于它的高维数(通常是几十万到几百万维的数量级)，双线性池通常需要对权值张量进行分解，才可以适当和有效地训练相关的模型。...或者，通过对权值张量施加低秩控制，多模态低秩双线性池(MLB)将双线性池的三维权值张量分解为三个二维权值矩阵[36]。具体的来说，视觉和文字特征向量通过两个输入因子矩阵线性投影到低维矩阵上。...MUTAN是一种基于多模态张量的Tucker decomposition方法，使用Tucker分解[39]将原始的三维权量张量算子分解为低维核心张量和MLB使用的三个二维权量矩阵[40]。
--求和--> Vue.component('counter',{ template:'{{number}...$refs.one) 再通过number获取自增的值 // 6.通过total获取两数之和
php //求和问题，给定一个数计算从1加到这个数的和！...}else{ $s=1; } return $s; } echo sum($num); 简单的递归调用！
如果我们这里忽略激活函数和偏置b，本质是矩阵乘法，重塑过程完全被权重矩阵W捕获。张量重塑可以通过与W的左乘来实现。 我们在上面隐式假设特征通道维度C=1，张量格式为HWxC，忽略batch维度。...对于 Transformer 来说，权重矩阵的数据依赖可以看作是一种动态权重，它可以适应不同的输入。...需要在 GPU、数据和训练时间上做出重大努力，才能获得良好的性能。 区别2：输入顺序 对于 MLP，输入和输出的顺序被编码在矩阵 W 中。每一行和每一列对应于输入和输出形状的权重。...对于Transformers 就比较复杂了，对于输入的顺序是一个不变量（invariant ），先看看交叉注意力的方程 如果X沿空间形状维进行某种排列，红色部分X^T X将保持不变，因此输出也保持不变...自注意力是排列等变的，交叉注意力是排列不变的。MLP 对排列高度敏感，随机排列可能会完全破坏 MLP 结果。
这一篇我也会结合一些例子来深刻理解Tensorflow中张量的静态和动态特性。...1、Tensorflow张量的静态和动态相关操作 TensorFlow中的张量具有静态大小属性，该属性在图形构建期间确定。有时静态大小可能没有指定。...为了得到张量的动态大小，可以调用tf.shape操作，它返回一个表示给定张量大小的张量： ? 张量的静态大小可以用Tensor.set_shape（）方法设置： ?...在实际很多情况中，我们需要将张量的不同维度通道进行合并，比如我们想要将第二维和第三维进行合并，也就是将三维张量转换为二维张量。我们可以使用上面定义好的get_shape（）函数来做到这一点： ?...无论这些大小是否为静态指定，这都是有效的。 3、通用重塑函数 实际上，我们可以编写一个通用重塑函数来折叠任何维度列表： ? 然后折叠第二维变得非常简单： ?
卷积神经网络 在这个神经网络编程系列中，我们正在努力构建卷积神经网络（CNN），所以让我们看看在CNN中的张量输入。 ? 在前两篇文章中，我们介绍了张量和张量的基本属性——阶、轴和形状。...我现在要做的是把阶、轴和形状的概念用在一个实际的例子中。为此，我们将把图像输入看作CNN的张量。...注意，张量的形状 编码了关于张量轴、阶和索引的所有相关信息，因此我们将在示例中考虑该形状，这将使我们能够计算出其他值。下面开始详细讲解。 CNN输入的形状 CNN输入的形状通常长度为4。...对于图像而言，原始数据以像素的形式出现，像素由数字表示，并使用两个维尺寸（高度和宽度）进行排列。 图片的高和宽 为了表示两个维度，我们需要两个轴。 ? 图像的高度和宽度在最后两个轴上表示。...发生这种情况时，卷积操作将改变张量的形状和基础数据。 卷积操作会改变高度和宽度尺寸以及通道数。输出通道的数量是根据卷积层中使用的滤波器的数量而变化。 ?
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
