腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

圆圆的算法笔记

专栏作者

101

文章

101903

阅读量

29

订阅数

用Transformer做多元时序预测的最佳方法？

变量工作模型数据时序预测

Transformer如何应用于时间序列预测一直是近期探讨的一个核心问题，这里包括多变量建模的处理方式、Transformer的结构等。在DLinear中，提出了用线性模型打败Transformer模型；在后来的PatchTST等工作中，又验证了Transformer的有效性。那么，到底如何使用Transformer进行时间序列预测效果最好呢？

圆圆的算法笔记

2023-08-17

1.5K0

清华大学SageFormer：解决多变量时间序列预测建模难题

变量编码工作模型网络

基于Transformer的多变量时间序列预测，是否需要显示建模各个变量之间关系呢？今天这篇文章来自清华大学近期发表的工作SageFormer，提出了一种新的基于Transformer的多变量时间序列预测算法，核心是利用token表征建立多变量的图结构关系。下面给大家详细介绍一下这篇文章。

圆圆的算法笔记

2023-08-17

1.3K0

时空预测中，多大程度上需要图结构信息？

工作模型数据网络效率

在时间序列预测中，时空预测是一种常见的方法，当各个时间序列存在空间关系时，将图神经网络引入，在之前的很多工作中都已经被验证了有明显的正向效果。然而，时空预测由于引入了空间结构信息，会导致模型的计算复杂度显著提升。那么，我们多大程度上需要图结构的信息呢？能否在不影响效果的前提下，减少图结构信息的引入，以此提升模型效率呢？KDD 2023中的一篇文章，就对这一方向进行了深入研究，提出了一种稀疏图时空预测方法，并验证了图结构信息在不同阶段（训练 or 预测）的作用。

圆圆的算法笔记

2023-08-17

5020

KDD'23 | 大厂推荐系统如何提升两阶段建模一致性

推荐系统工作论文模型优化

今天介绍两篇大厂推荐系统中提升两阶段建模一致性的文章，都是今年KDD'23上录用的论文。第一篇文章是快手发表的工作，对超长用户历史行为序列建模中，两阶段的用户行为筛选目标不一致问题进行优化，让第一阶段产出的用户行为有更高的比例在第二阶段打高分。第二篇文章是美团发表的工作，对两阶段重排建模进行优化，让第一阶段筛选出的重排组合有更高的比例成为第二阶段的高分结果。

圆圆的算法笔记

2023-08-17

5140

谷歌KDD'23工作：如何提升推荐系统ranking模型训练稳定性

推荐系统 ranking 工作模型优化

谷歌在KDD 2023发表了一篇工作，探索了推荐系统ranking模型的训练稳定性问题，分析了造成训练稳定性存在问题的潜在原因，以及现有的一些提升模型稳定性方法的不足，并提出了一种新的梯度裁剪方式，提升了ranking模型的训练稳定性。下面给大家详细介绍一下这篇文章。

圆圆的算法笔记

2023-08-17

3950

基于对比学习的时间序列异常检测方法

patch 框架模型数据异常

今天给大家介绍KDD 2023中，牛津大学与阿里巴巴联合发表的时间序列异常检测工作。在以往的时间序列异常检测中，使用最多的方法是基于Reconstruction的方法。本文探索了对比学习在时间序列异常检测中的应用，取得了不错的效果。下面给大家详细介绍一下这篇文章。

圆圆的算法笔记

2023-08-17

1K0

基于树的端到端稠密检索模型

document 华为模型索引优化

今天介绍的这篇文章由清华大学和华为联合发表，核心是提升向量检索的效果，在树检索的基础上，实现了索引构建和表示学习的端到端联合建模，提升了树检索的一致性。

圆圆的算法笔记

2023-08-17

2390

适合时空预测的时间序列表示学习方法

学习方法工作框架论文模型

最近，中国香港科技大学、上海AI Lab等多个组织联合发布了一篇时间序列无监督预训练的文章，相比原来的TS2Vec等时间序列表示学习工作，核心在于提出了将空间信息融入到预训练阶段，即在预训练阶段考虑各个序列之间的关系。因此，本文提出的方法也更适合作为时空预测领域的预训练模型。下面为大家详细介绍一下这篇文章。

圆圆的算法笔记

2023-08-17

3250

如何将大模型应用到自己的业务中？7种大模型应用方式和代表论文总结

prompt 工作论文模型数据

如何将大模型应用落地到自己的业务或工作中？这篇文章整理了7种目前业内最常用的大模型应用方法，以及各个方法的代表论文。通过对各种应用大模型方法的特点对比，找到最适合自己场景的应用方法。

圆圆的算法笔记

2023-08-17

1.6K0

KDD'23 | 基于MLP+多阶段校准的的多元时序预测模型

变量工作基础模型时序预测

今天给大家介绍一篇KDD 2023会议上，由IBM研究院发表的一篇多元时间序列预测工作，模型整体结构基于patch预处理+MLP，支持时序预测和时间序列表示学习两类任务，同时提出了多阶段校准的方法，在预估结构中考虑时间序列的层次关系和多变量之间的依赖关系。

圆圆的算法笔记

2023-08-17

1.2K0

时序预测不同注意力机制哪种更好？亚马逊这篇文章讲明白了

连接模型设计数据时序预测

今天介绍的这篇文章是亚马逊发表的时间序列预测工作，详细介绍了不同domain（时域、频域）做attention的差异，总结出不同类型的时间序列，在哪个domain做attention效果最好，并基于这些发现，提出了新的时间序列预测模型TDFormer。

圆圆的算法笔记

2023-08-17

1.3K0

时间序列预测和缺失值填充联合建模方法

变量函数连接模型优化

今天给大家介绍一篇康奈尔大学和IBM研究院上周法发布的一篇时间序列相关工作，将时间序列预测任务和缺失值填充任务进行联合建模。通过对时间序列预测和缺失值填充这两个任务的整体建模和端到端训练，实现了一个模型同时解决两个任务，并提升两个任务效果的目标。

圆圆的算法笔记

2023-08-17

3800

利用大模型打造文本摘要训练新范式

基础模型排序数据优化

文本摘要任务的目标是根据一个document，抽取或生成一段文本，用来描述document主体内容。文本摘要的解决方法主要包括抽取式和判别式两种类型。抽取式是一个判别任务，用序列标注的方式给文档的token进行打标，抽取关键部分作为摘要；生成式则是借助语言模型的生成能力，输入document后，直接生成一段摘要文本。

圆圆的算法笔记

2023-08-17

1.3K0

如何用GPT大模型解决NER任务？

gpt 工作基础论文模型

今天给大家介绍一篇北大、香农科技、浙大、亚马逊、南洋理工等多个机构近期联合发表的工作，利用GPT这类预训练大模型解决NER问题。

圆圆的算法笔记

2023-08-17

1.5K1

两篇近期多元时间序列分类工作解读

深度学习变量工作基础论文

这篇文章带大家读两篇近期多元时间序列分类工作。一篇是TodyNet: Temporal Dynamic Graph Neural Network for Multivariate Time Series Classification，通过动态图学习的方式刻画多变量之间的关系，指导多元时间序列分类；另一篇是Enhancing Multivariate Time Series Classifiers through Self-Attention and Relative Positioning Infusion，在卷积时间序列分类网络的基础上，引入了注意力机制，提升多元序列分类小姑偶。

圆圆的算法笔记

2023-08-17

1.6K0

大模型LLaMA及其Finetune方法

编码工作模型数据优化

这篇文章介绍了近年最火的预训练大模型之一LLaMA，以及如何对它进行finetune，以应用到下游NLP、多模态等任务中，也包括如何降低finetune的资源开销，实现高性价比的大模型应用。

圆圆的算法笔记

2023-08-17

6630

基于分解的结构化多元时间序列建模

函数模块化模型统计优化

今天介绍一篇本周最新发表的多元时间序列预测模型SCNN。这篇文章的核心是，利用因素分解的思路将多元时间序列预测问题模块化，并得益于分解和模块化建模方法，实现多元时间序列预测的可解释性建模。

圆圆的算法笔记

2023-08-17

2920

当推荐系统遇到大模型

推荐系统基础模型设计数据

本文整理了2023年以来，ChatGPT等语言大模型在推荐系统中的应用。基于大模型的推荐系统，与传统的推荐系统差异非常大，如果大模型推荐系统能取得成功，势必会对原来的推荐系统造成不小的冲击。截止到目前为止，已经有多篇文章初步探讨和尝试了ChatGPT等大模型在推荐系统中的应用。总体来看，ChatGPT在推荐系统中的应用有不小的潜力，主要体现在以下几个方面：

圆圆的算法笔记

2023-08-17

2.3K0

多模态统一框架BLIP系列工作，从BLIP到InstructBLIP

工作框架模型数据网络

这篇文章整理了Salesforce Research在多模态领域提出的NLIP图文统一框架，利用图文数据训练能够解决各类图文任务的统一模型（图文匹配、看图说话等）。共包含3个工作：BLIP、BLIP-2、InstructBLIP。三者的核心点如下：

圆圆的算法笔记

2023-08-17

1.3K0

AnomalyBERT：用于时间序列异常检测的预训练BERT

工作模型数据异常优化

时间序列异常检测任务，目标是判断时间序列的各个片段是否异常。今天这篇文章是ICLR 2023中一篇利用BERT解决时间序列异常检测的工作。核心是利用BERT模型结合时间序列异常样本生成做预训练，让BERT具有判别异常片段的能力，再应用到下游时间序列异常检测任务中。

圆圆的算法笔记

2023-08-17

1.5K0

点击加载更多

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态