最近，来自蚂蚁的几位学者在NeurIPS 2021上发表了一种混合微观特征进行宏观时间序列预测的方法。他们提出将“宏观时序变量”拆分为“微观时序变量”，并可以赋予这些微观变量一些专家领域的经验知识。...基于此，作者提出了一种基于混合神经时序模型的聚类方法MixSeq。...作者们期望将m个微观时序数据划分为K组，并形成K个聚合时间序列 ，其中， 是类别变量， 是第z个类别对应的聚合时序变量在时刻t的取值，由属于第z类的所有微观时序数据汇总获得。...模式崩溃：际测试发现，优化上式中的变分下界可能面临这样一个问题：编码器q(z|x)容易将所有样本判定为同一类别，并没有像预期的一样将样本进行有效划分。...在这种情况下，编码器没有能够提取时间序列中有区分度的信息，即 。为避免上述情况，在变分下界的基础上添加 ，期望模型能够在隐变量z中学到区别不同输入时序的信息。
事实上，单纯地为形状类别创建独立的几何图像并将其输入深层神经网络将无法生成连贯的三维形状曲面。 基于参数化方法仅限于低属曲面，它们适合于重建属于给定形状类别的对象，例如人脸和身体。...因此，该方法不需要单独的3D训练集来学习可变形模型。在这种情况下，重建结果都缺乏细节，仅限于汽车和鸟类等热门类别。 1.2.3网络架构 基于变形的方法同样使用编码器-解码器架构。...编码器使用连续卷积运算将输入映射到隐变量x，它可以是离散的或连续的，解码器通常由完全连接的层组成。...在这种情况下，隐变量x可用于将输入分类为形状类别之一，然后选择该类别的学习平均形状作为模板。 基于参数化和变形的技术只能重建固定拓扑的曲面。前者仅限于低属的曲面，后者仅限于模板的拓扑结构。...1.3.2网络架构 与基于体积和表面的表示类似，使用基于点的表示的技术遵循编码器-解码器模型。虽然它们都对编码器使用相同的架构，但它们在解码器的类型和架构上有所不同，如下图所示。
DeepTCN模型使用了一组1D卷积层和最大池化层来处理时序数据，并通过堆叠多个这样的卷积-池化层来提取时序数据的不同特征。...DeepTCN模型的训练过程通常涉及以下几个步骤： 数据预处理：将原始的时序数据进行标准化和归一化处理，以减小不同特征的尺度不一致对模型训练的影响。...HT模型的优点在于，它能够自适应地处理具有多个时间尺度的时序数据，并通过自适应多头注意力机制来捕捉不同时间尺度的特征，以提高模型的预测性能和泛化能力。...编码器由多个自注意力层和前馈神经网络层组成，用于从输入序列中提取特征。解码器同样由多个自注意力层和前馈神经网络层组成，用于将编码器的输出转化为预测序列。...该模型采用了分层结构，将整个时序数据分解为多个层次，每个层次包含不同的时间粒度和特征，然后使用神经网络模型进行预测。
不幸的是，大多数现有的学习具有不同形状和外观的 3D 人体生成模型的方法都需要 3D 训练数据，而这些数据有限且获取成本高昂。...为了训练我们的三平面编码器流水线，我们仅使用合成数据，展示了如何将知识从预训练的 3D GAN 提取到前馈编码器中。...技术贡献包括基于 Vision Transformer 的三平面编码器、相机数据增强策略以及用于合成数据训练的精心设计的损失函数。...我们展示了我们在人脸肖像 (FFHQ) 和猫 (AFHQ) 上的结果，但我们的算法也可以在未来应用于其他类别，并带有 3D 感知图像生成器。...因此，我们引入了 VCoT，这是一种利用思维链提示和视觉语言基础的新方法，以递归地弥合顺序数据中的逻辑差距。
我们将这些基于深度自编码器的聚类方法总结为基于DAE的深度聚类。...优化后， 变分深度嵌入（VaDE）、高斯混合变分自动编码器（GMVAE）、潜在树变分自编码器（LTVAE）等备受关注的基于变分自编码器的深度聚类方法，使用不同的潜在变量的生成模型或不同的正则化器。...图3展示了基于生成对抗网络（GAN）的学习框架。φg是生成器，φd是判别器，εn和εc都是输入到生成器的变量，其中εn是噪声，εc是类别信息。...3种重要的基于生成对抗网络（GAN）的深度聚类方法：概率聚类算法是一种基于概率模型的聚类方法，可以通过最大化数据的似然函数来学习数据的潜在分布；CatGAN是一种改进的 GAN 模型，可以用于多类别分类任务和半监督学习任务...半监督聚类是一种利用标记和未标记数据进行聚类的方法，可以通过GNN来学习数据的潜在表示和聚类。多视图聚类是一种利用多个视图数据进行聚类的方法，可以通过GNN来融合多个视图数据并进行聚类。
在今天的推文中，我们将谈谈： 各种特征创建方法——自动和手动 处理分类特征的不同方法 经度和纬度特征 一些kaggle技巧 以及其他一些关于特征创建的想法 总而言之， 这篇帖子是关于我们已经学习并最终经常使用的有用的特征工程方法和技巧...▍序数编码 有时会有一个与类别相关联的订单，在这种情况下，通常在pandas中使用一个简单的映射/应用函数来创建一个新的序数列。...▍二进制编码器 二进制编码器是另一种可用于对分类变量进行编码的方法。如果一个列中有多个级别，那么这是一种很好的方法。...它与二进制编码器不同，因为在二进制编码中，两个或多个俱乐部参数可能是1，而在哈希散列中只有一个值是1。 我们可以像这样使用哈希散列： ? ? 一定会有冲突（两个俱乐部有相同的编码。...为了解决这个问题，你可以考虑创建一个像“Stylish”这样的特征，在这里你可以通过将属于男性时尚、女性时尚和青少年时尚类别的项目数量相加起来创建这个变量。
此外，传统的Transformer模型将每个时间步的多个变量嵌入到同一个标记中，可能导致学习到的注意力图无意义。...因此，该论文提出了一种称为iTransformer的新方法，通过重新设计Transformer架构，将注意力机制和前馈网络的职责进行了倒置，以更好地捕捉多变量之间的相关性和学习非线性表示。...01 Embedding the whole series as the token iTransformer的整体结构，与Transformer的编码器具有相同的模块布局（如下图）：（a）不同变量的原始序列被独立地嵌入到令牌中...基于以上，研究者提出了一种合理的解释，即MLP的神经元被训练来描绘任何时间序列的内在属性，比如振幅、周期性和甚至频谱（神经元作为滤波器），作为比时间点上的自注意力更有优势的预测表示学习器。...自注意力（Self-attention） 倒置模型将注意力机制应用于多元时间序列预测，其中每个变量的整个序列被视为一个独立的进程。
时间序列通常被定义为按时间顺序排列的数据点序列。这些序列可以是单变量的，也可以是多变量的。例如，一个城市每天的温度读数将形成一个单变量时间序列，而结合每天的温度和湿度数据将创建一个多变量时间序列。...在预测中，目标是预测时间序列的未来值，根据预测范围，可以进一步分为短期和长期预测。在分类中，目标是将输入的时间序列分类到不同的类别中。...其他常见任务包括链接预测和节点/图分类，其中链接预测的目标是基于历史信息预测边的存在，而节点/图分类的目标是将节点或图分类到不同的类别中。 3....基于掩蔽自编码器（MAE）的预训练方法涉及一种新的块嵌入，可以减少内存使用，并允许模型处理更长的序列，以解决处理高信息密度的多元时间序列的挑战。...此外，不同的模态可能具有不同的时间分辨率。LLMs可以适应处理来自具有不同时间分辨率的多个模态的时序数据差异。因此，来自不同时间分辨率的所有信息都可以被充分利用，以提高性能。
生成式方法的目标是在训练分类器前找到合适的时间序列表示，而判别式方法则是直接将原始时间序列映射到类别概率分布。本综述主要关注判别式方法，因为其端到端的特性避免了繁琐的预处理。...本文提出了一种基于网络架构和应用领域的分类方法，如图1所示，后续将详细讨论。...首个模型是多通道深度卷积神经网络（MC-DCNN），针对多变量数据特点对传统深度CNN进行改进。另一种模型是人体活动识别MC-CNN，同时将1D卷积应用于所有输入通道以捕捉时间和空间关系。...一种解决方法是将时间序列数据表示为图像形式，使模型能学习内部空间关系。Wang等人提出将单变量时间序列数据编码为图像并使用CNN分类的方法。...另一项研究引入了一个基于Transformer的框架(TST)，将标准Transformer应用于多变量时间序列领域。
扩散模型作为一种强大的工具，不仅增强了序列和时序数据的生成和推理能力，还扩展到了其他下游任务。文章从模型类别、任务类型、数据模态和实际应用领域等多个维度对扩散模型进行了分类和讨论。...在无条件类别中，扩散模型以无监督的方式工作，生成数据样本而无需监督信号。这种设置代表了分析时间序列和时空数据的基础方法。在这一类别中，文献可以进一步分为基于概率的扩散模型和基于得分的扩散模型。...与此同时，另一项研究[104]采取了不同的方法，将时间数据建模为连续函数，从而能够处理不规则采样的数据。...它引入了一种模型无关的方法，将条件信息整合到扩散过程中。这种方法可以提高语音信号的质量，减少背景噪声和其他干扰因素。 除了上述提到的应用外，扩散模型还被用于序列推荐。...处理动态环境和噪声：针对动态环境中的不稳定性和噪声问题，一些研究实施了先进的扩散重构技术来保持准确性。 跨领域的应用：除了针对一般时间序列异常检测的方法外，还有一些工作将先进的扩散技术应用于各种领域。
一种典型的策略涉及保留一些先前的数据。例如，引入了一个内存模块，用于存储不同器官类别的原型表示。然而，依赖于数据和注释的方法可能会面临实际约束，因为隐私问题可能会使获取先前数据和注释变得困难。...问题2：是否可以设计一种新的模型架构，能够在不同的持续学习步骤之间共享更多的参数？ 为了解决上述问题，本文提出了一种新颖的持续多器官和肿瘤分割方法，该方法通过很少的内存和计算开销克服了遗忘问题。...其次，为每个类别提出了基于图像的分割头部，位于共享编码器和解码器之上。这些头部允许使用单个骨干，并轻松扩展到新类别，同时带来较少的计算成本。...这些卷积核应用于解码器（Dec）特征时，产生了相应类别的掩码。 请添加图片描述 问题定义 将连续分割的形式化表示如下：给定一系列部分注释的数据集 {D1，D2，......前置文章使用单一的 MLP 来管理多个类别，这篇工作为每个类别分配了一个独立的 MLP，这个设计可以显著减轻不同类别之间的干扰。 计算复杂度 与基线模型 Swin UNETR 进行了比较。
为了将人工智能应用于从世界收集的大量无标注数据，一大关键难题是要能仅用少量监督或无监督的学习方法来学习有用的表征。...解离性：假设数据是基于互相独立的因素（这些因素内部也存在一定的变化范围）生成的，比如目标图像中的目标方向和光照条件，作为一个元先验，解离性更倾向于用表征中不同的独立变量表示这些因素。...这种结构可由隐含混合模型学习得到，其中每种混合组分都对应一种类别，并且其分布也能建模该类别之中的因素的变化情况。这能自然地得到具有聚类结构的表征。...编码器是将输入映射到表征空间（推理），而解码器则是根据表征重建原输入。编码器应该满足该隐含空间上的某些结构（比如应该是解离的）。...最后，我们还通过数据率-失真理论对基于自编码器的表征学习进行了分析，并确定了下游任务相关先验知识可用量与该表征在该任务中的有用程度之间的明确权衡。 ? 表 2：选择了不同正则化方法 和 的研究概述。
这篇论文的主要贡献主要有两点： 将 GNN 应用于带有 side information 的矩阵补全任务中，并证明基于消息传递的模型比之前的复杂模型具有更好的性能； 引入了 Dropout 正则化技术：...图数据的局部卷积操作只考虑节点的直接邻居，因此可以应用于图数据中的所有位置。 我们也知道，局部图卷积可以看作是一种消息传递，节点的特征值沿着边进行传递和转换。...考虑 Loss Function」 使用交叉熵损失函数： 其中， 为指示函数， 是为 1，否则为 0； 用来表示链接是否存在，其作用类似 mask； 「考虑 Mini-batch」 对于不同评分类别将进行固定数量的...「考虑 weight sharing」 考虑 user 对 item 打分的非均匀性，防止权重矩阵 的列优化不均匀，作者使用了一种在不同评分关系之间进行参数共享的方法： 其中， 为基础矩阵，...4.Conclusion 总结：GCMC 利用基于消息传递的图卷积网络将节点特征编码为隐特征，并利用双线形解码器预测未知边的不同评分值的概率评分，并取其期望作为边的预测评分。
此外，为了确保即使在不稳定的环境下也能获得实时运行性能，需要一种能够从不完整信息中重建完整内容的随时估计方法。在此背景下，研究人员提出了一种方法来插补部分缺失元素的潜在变量。...基于ModelNet和Pascal3D数据集上的实验，所提出的方法与自编码器(AE)和变分自编码器(VAE)相比表现出一致的优越性能，数据丢失率高达70%。...这些方法的目的是不同的，因为它们不执行插补，常应用于语音识别或分类。但上下文是相似的，因为它们使用部分元素或部分网络。...为了在不稳定环境下支持鲁棒的实时人-机器人协作，研究人员提出了一种考虑特定类别多模态分布的随时重构方法。...与普通VAE不同，该方法中的每个模态都是在训练时自动确定的，并且包含特定类别的信息。利用这种先验分布，研究人员仅利用潜在空间中的传输元素来确定潜在变量的模式。
Wang等人引入了基于copula的对偶性对比性预测编码（Co-CPC）方法，考虑股票类别、行业和相关宏观经济变量之间的依赖关系，通过最小化数据和模型的不确定性来捕获耦合。...FactorVAE将动态因子模型与使用变分自动编码器进行噪声建模相结合，通过将因子后验因子模型近似为未来信息，可以有效地指导学习过程。...可以将数据分类为各种类别，例如正面、中性或负面，以进行进一步的分析和利用。...是一种测量两个变量之间相关性的统计量，特别适用于非线性关系。MCC的值在-1到1之间，1表示完全正相关，0表示无关，-1表示完全负相关。它被广泛应用于生物学、医学、经济学等领域。...金融市场的波动性和噪音使得量化交易算法在平衡利润和风险方面具有挑战性。分布式强化学习是一种可能的解决方案，通过使用定义的随机变量形成分布式贝尔曼等式，超越了传统的方法。
每个变量可以代表不同的观测物理量，例如气象预报中使用的多个气象指标（风速，温度，湿度，气压等），也可以代表不同的观测主体，例如发电厂不同设备的每小时发电量等。...以往基于Transformer的预测模型通常先将同一时刻下的多个变量嵌入到高维特征表示（Temporal Token），使用前馈网络（Feed-forward Network）编码每个时刻的特征，并使用注意力模块...# iTransformer 整体结构 不同于以往Transformer预测模型使用的较为复杂的编码器-解码器结构，iTransformer仅包含编码器，包括嵌入层（Embedding），投影层（Projector...考虑到 比 具有更强的语义以及相对一致的测量单位, 不同于以往对 进行特征嵌入的方式, 该方法使用嵌入层对每个 独立地进行特征映射,获得 个变量的特征表示 , 其中 蕴含了变量在过去时间内的时序变化...而在倒置版本中（公式如上），层归一化应用于每个变量的特征表示（Variate Token），让所有变量的特征通道都处于相对统一的分布下。
近年来，基于深度学习的方法也被广泛地应用于时序预测任务中，例如时序卷积网络（TCN）、LSTM、Transformer等。...这些方法克服了上述缺点，具有支持输入多个变量，自适应地提取特征，执行多步预测，一次性输出多个指标的预测值等优势。因此，本文的实战部分利用的是深度学习方法。下面简要介绍实践中涉及到的几种模型或方法。...3.2.2 Informer Informer是一种基于Transformer架构的时间序列预测模型。Transformer由自注意力机制的编码器和解码器组成。...而在现实场景中，数据量并不总是充足的，因此会影响深度学习模型的效果，有时甚至不如传统的方法。另一方面，由于时序数据本身带有公式化的数学特性，深度学习方法能否提供形式化的表征也是一种未知数。...不过，随着时间的发展，数据是会越来越多的，同时，目前越来越多的研究将传统的时序预测方法融合进深度学习时序预测模型中，这也是将数学特性融入深度学习方法的一种尝试。
这个图包含了有标记的和未标记的样本，目标是将标记的数据从已标记的节点传播到未标记的节点。GSSL方法主要分为基于autocoder的方法和基于gnn的方法。...Structural deep network embedding(SDNE)：这是一种基于自动编码器的方法，由非监督部分和监督部分组成。第一个是自动编码器，设计用于生成每个节点的嵌入结果来重建邻域。...基本GNN：图神经网络 (GNN) 是一种分类器，它首先经过训练以预测标记节点的类标签。然后基于 GNN 模型的最终隐藏状态应用于未标记的节点。...主要有两种模式，一种是集成多个不同网络来提高整个框架的性能，另一种是自训练。基于集成的方法训练多个学习者，并专注于利用训练过程中的不同结果。自训练算法利用模型自己的置信度预测为未标记数据生成伪标签。...为了减少熵，在提供最终标签之前，猜测的标签被锐化，然后将Mixup正则化应用于标记和未标记数据。 FixMatch：该方法将一致性正则化和伪标记进行了简化。
三、图对比学习 SSL方法可以分为两类；即对比模型和预测模型。这两个类别之间的主要区别是对比模型需要数据-数据对来进行训练，而预测模型需要数据-标签对，其中标签是从数据中自行生成的。 ? 图2....对比学习方法的总体框架 3.1 图对比学习框架 给定图(A，X)，应用多个变换T1,…,Tk以获得该图的不同视图w1,…,wk。...推理过程中使用编码器的不同方式 3.2 图视角生成 我们将应用于图数据的现有转换归纳为三类，特征转换、结构转换和基于采样的转换。特征转换可以表示为： ? 结构转换可以表示为： ?...4.2 图属性预测 除了重建之外，执行自监督预测学习的有效方法是基于图数据中没有明确提供的信息图属性来设计预测任务。...给定任何节点对的编码表示，预测头执行分类。S2GRL训练编码器和预测头来分类这对节点之间的跳数。 Meta-path prediction：该方法适用于异构图，例如分子中有不同种类的节点和边。
ViT 的核心思想是将输入图像划分为多个小块，然后将每个小块作为一个 token 输入到 Transformer 的编码器中，最终得到一个全局的类别 token 作为分类结果。...将 ViT 的输入通过 Transformer 的编码器，得到一个 197x768 的输出矩阵。其中第一个向量就是类别 token ，它包含了 ViT 对整个图像的理解。...，有聪明的同学知道这是为什么吗？...后面，关于各种不同的预训练方法（MAE、SimMIM、DeiT、BeiT 等等）、各种 backbone 使用方法（linear prob、fine-tuning 与 layer-wise learning...Grad-CAM 也可以用于其他基于 Transformer 的模型，例如 DeiT、Swin Transformer 等，只需要根据不同的模型结构和输出，调整相应的计算步骤即可。
领取专属 10元无门槛券
手把手带您无忧上云
