腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

null的专栏

专栏作者

398

文章

572127

阅读量

69

订阅数

用户多兴趣建模MIND

神经网络聚类算法

在工业界，一个完整的推荐系统中通常包括两个阶段，分别为召回阶段和排序阶段。在召回阶段，根据用户的兴趣从海量的商品中去检索出用户（User）可能感兴趣的候选商品（ Item），满足推荐相关性和多样性需求。在排序阶段，根据不同的目标，如CTR，CVR，时长等对候选出的商品进行打分。目前，对于用户兴趣的建模，通常是从用户的历史行为中挖掘出用户兴趣，以当前的深度学习模型为例，通常是将User的历史行为数据embedding到一个固定长度的向量中，以此表示该用户的兴趣。然而在实际环境中，一个用户的兴趣通常是多样的，使用单一固定长度的embedding向量难以刻画用户兴趣的多样性。Multi-Interest Network with Dynamic routing[1]（MIND）用户多兴趣建模网络取代了原先的单一固定长度embedding向量，取而代之的是用户的多兴趣向量。在MIND中，主要的创新点在于：

2023-01-31

5230

用户多兴趣建模MIND

神经网络聚类算法

在工业界，一个完整的推荐系统中通常包括两个阶段，分别为召回阶段和排序阶段。在召回阶段，根据用户的兴趣从海量的商品中去检索出用户（User）可能感兴趣的候选商品（ Item），满足推荐相关性和多样性需求。在排序阶段，根据不同的目标，如CTR，CVR，时长等对候选出的商品进行打分。目前，对于用户兴趣的建模，通常是从用户的历史行为中挖掘出用户兴趣，以当前的深度学习模型为例，通常是将User的历史行为数据embedding到一个固定长度的向量中，以此表示该用户的兴趣。然而在实际环境中，一个用户的兴趣通常是多样的，使用单一固定长度的embedding向量难以刻画用户兴趣的多样性。Multi-Interest Network with Dynamic routing[1]（MIND）用户多兴趣建模网络取代了原先的单一固定长度embedding向量，取而代之的是用户的多兴趣向量。在MIND中，主要的创新点在于：

2023-01-14

8490

人脸检测和对齐算法MTCNN

神经网络机器学习深度学习人工智能人脸识别

人脸识别在实际的生活中有着广泛的应用，得益于深度学习的发展，使得人脸识别的准确率得到大幅度提升。然而，为了做好人脸识别，第一步需要做的是对人脸检测，主要是通过对图片分析，定位出图片中的人脸。近年来，深度学习在人脸检测方面也得到了大力发展，在2016年Kaipeng Zhang, Zhanpeng Zhang等人提出了人脸检测算法MTCNN（Multi-task Cascaded Convolutional Networks）模型[1]，MTCNN算法的效果也是得到了很多实际项目的验证，在工业界得到了广泛的应用，在我个人的实际项目中也得到了较多应用。在MTCNN算法中，主要有三点的创新：

2022-12-31

1.7K0

深度学习算法原理——RCNN

编程算法图像处理图像识别机器学习神经网络

RCNN（Region with CNN features）[1]算法发表在2014年CVPR的经典paper：《Rich feature hierarchies for Accurate Object Detection and Segmentation》中，这篇文章是目标检测领域的里程碑式的论文，首次提出使用卷积神经网络（Convolutional Neural Networks, CNNs）处理目标检测（Object Detetion）的问题。

2022-12-24

9020

人脸检测和对齐算法MTCNN

神经网络机器学习深度学习人工智能人脸识别

人脸识别在实际的生活中有着广泛的应用，得益于深度学习的发展，使得人脸识别的准确率得到大幅度提升。然而，为了做好人脸识别，第一步需要做的是对人脸检测，主要是通过对图片分析，定位出图片中的人脸。近年来，深度学习在人脸检测方面也得到了大力发展，在2016年Kaipeng Zhang, Zhanpeng Zhang等人提出了人脸检测算法MTCNN（Multi-task Cascaded Convolutional Networks）模型[1]，MTCNN算法的效果也是得到了很多实际项目的验证，在工业界得到了广泛的应用，在我个人的实际项目中也得到了较多应用。在MTCNN算法中，主要有三点的创新：

2022-12-23

1.1K0

空间金字塔池化Spatial Pyramid Pooling

机器学习神经网络深度学习人工智能

通常在卷积神经网络CNN中主要是由卷积层（包括Convolution和Pooling两部分组成）和全连接层组成，对于任意一张大小的图片，通常需要通过裁剪或者拉伸变形的方式将其转换成固定大小的图片，这样会影响到对图片的识别。Kaiming He等人在2015年提出了Spatial Pyramid Pooling的概念[1]，通过Spatial Pyramid Pooling操作后的CNN网络消除了对输入图像大小的限制，这样能够提升网络对图像的识别能力。

2022-11-30

5460

卷积神经网络Inception Net

批量计算卷积神经网络神经网络

2014年，Google提出了包含Inception模块的网络结构，并命名为GoogLeNet[1]，其中LeNet为致敬LeNet网络，GoogLeNet在当年的ILSVRC的分类任务上获得冠军。GoogLeNet经过多次的迭代，最初的版本也被称为Inception v1。Inception的名字也得益于NIN和盗梦空间“We need to go deeper”的启发。提高模型的表达能力，最有效的办法是增加模型的大小，包括了模型的深度和模型的宽度，但是一味的增大模型会出现以下的一些问题：

2022-11-30

7580

空间金字塔池化Spatial Pyramid Pooling

机器学习神经网络深度学习人工智能

通常在卷积神经网络CNN中主要是由卷积层（包括Convolution和Pooling两部分组成）和全连接层组成，对于任意一张大小的图片，通常需要通过裁剪或者拉伸变形的方式将其转换成固定大小的图片，这样会影响到对图片的识别。Kaiming He等人在2015年提出了Spatial Pyramid Pooling的概念[1]，通过Spatial Pyramid Pooling操作后的CNN网络消除了对输入图像大小的限制，这样能够提升网络对图像的识别能力。

2022-11-15

8311

卷积神经网络NIN

机器学习神经网络深度学习人工智能

在传统的CNN网络中，使用卷积（Convolution）操作来提取感受野中的特征，卷积操作是由一个线性变换与非线性激活函数组成，为了能增强CNN网络的局部辨识能力，2014年Network In Network[1]的结构被提出，其使用多层感知机的网络结构替换感受野上的线形变换和非线性激活函数，以此来增强模型的局部建模能力。

2022-11-13

4980

卷积神经网络Inception Net

批量计算卷积神经网络神经网络

2014年，Google提出了包含Inception模块的网络结构，并命名为GoogLeNet[1]，其中LeNet为致敬LeNet网络，GoogLeNet在当年的ILSVRC的分类任务上获得冠军。GoogLeNet经过多次的迭代，最初的版本也被称为Inception v1。Inception的名字也得益于NIN和盗梦空间“We need to go deeper”的启发。提高模型的表达能力，最有效的办法是增加模型的大小，包括了模型的深度和模型的宽度，但是一味的增大模型会出现以下的一些问题：

2022-11-13

7080

BERT知识蒸馏Distilled BiLSTM

机器学习神经网络深度学习人工智能

随着BERT模型的提出，在NLP上的效果在不断被刷新，伴随着计算能力的不断提高，模型的深度和复杂度也在不断上升，BERT模型在经过下游任务Fine-tuning后，由于参数量巨大，计算比较耗时，很难真正上线使用。这些基于Transformer模型的提出，包括BERT，GPT等，那么对于传统的NLP方法，如RNN，LSTM，TextCNN是不是就已经过时了呢？结合知识蒸馏的思想，Distilled BiLSTM[1]将BERT模型当作Teacher模型，对Fine-tuned BERT进行蒸馏，使得蒸馏得到的Student模型BiLSTM模型与ELMo模型具有相同的效果，但是参数量却减小了100倍，同时，计算时间缩短了15倍。

2022-09-29

6670

Transformer的基本原理

机器学习神经网络深度学习人工智能

Seq2Seq[1]框架最初是在神经机器翻译（Neural Machine Translation，NMT）领域中提出，用于将一种语言（sequence）翻译成另一种语言（sequence）。其结构如下图所示：

2022-09-26

9960

机器学习神经网络深度学习人工智能编程算法

很多的图像处理问题可以转换成图像到图像（Image-to-Image）的转换，即将一个输入图像翻译成另外一个对应的图像。通常直接学习这种转换，需要事先定义好损失函数，然而对于不同的转换任务，需要设计的损失函数也不尽相同。得益于生成对抗网络GAN的提出，尤其是条件生成对抗网络cGAN[1]（conditional GAN），可以直接学习这种映射关系，同时不需要人工定义该映射的损失函数，可以通过自动的学习得到。基于cGAN的基本原理，Pix2Pix[2]提出了一种图像转图像的通用框架。Pix2Pix网络不仅能够学习到从输入图像到输出图像的映射，还能学习到用于训练该映射的损失函数。

2022-05-18

1900

文本生成seq2seq框架

机器学习神经网络深度学习人工智能编程算法

Seq2Seq是Sequence to Sequence的缩写，作用是将一个序列（sequence）映射成另一个序列（sequence）。文献[1]和文献[2]分别提出利用深度神经网络DNN实现端到端的Seq2Seq学习，将Seq2Seq应用于神经机器翻译（Neural Machine Translation，NMT），唯一不同的是在[1]中使用LSTM作为基础网络，而在[2]中则是使用的是RNN。在Seq2Seq框架中包含了两个模块，一个是encoder模块，另一个是decoder模块。这种同时包含encoder和decoder的结构与AutoEncoder网络相似，不同的是AutoEncoder模型是将输入通过encoder的网络生成中间的结果，并通过decoder对中间的结果还原，AutoEncoder的模型结构如下图所示：

2022-05-12

5690

Embeddings from Language Models（ELMo）

机器学习神经网络深度学习人工智能

随着深度学习在NLP领域的发展，产生很多深度网络模型用于求解各类的NLP问题，在这众多的网络模型中，无疑都会使用到词向量的概念，这就不得不提及word2vec[1]词向量生成工具。从word2vec词向量工具的提出后，预训练的词向量成了众多NLP深度模型中的重要组成部分。然而传统的word2vec生成的词向量都是上下文无关的，其生成的词向量式固定，不会随着上下文的改变而改变，这种固定的词向量无法解决一词多义的问题。比如“bank”这个词，既可以表示“河岸”，也可以表示“银行”。Embeddings from Language Models（ELMo）[2]是2018年提出的一种基于上下文的预训练模型，研究人员认为一个好的预训练语言模型应该能够包含丰富的句法和语义信息, 并且能够对多义词进行建模。

2022-05-12

4440

Deep&Cross Network（DCN）

特征工程神经网络

Deep&Cross Network（DCN）[1]是由Google于2017年提出的用于计算CTR问题的方法，是对Wide&Deep[2]模型的进一步改进。线性模型无法学习到特征的交叉属性，需要大量的人工特征工程的介入，深度网络对于交叉特征的学习有着天然的优势，在Wide&Deep模型中，Deep侧已经是一个DNN模型，而Wide侧是一个线性模型LR，无法有效的学习到交叉特征。在DCN中针对Wide&Deep模型的Wide侧提出了Cross网络，通过Cross网络学习到更多的交叉特征，提升整个模型的特征表达能力。

2022-05-12

7550

神经网络的基本原理

神经网络是由一个个的被称为“神经元”的基本单元构成，单个神经元的结构如下图所示：

2022-05-12

9470

Conditional GAN

机器学习神经网络深度学习人工智能 javascript

GAN的出现为数据生成提供了一种新的思路，以图像生成为例，在GAN框架中，不再需要其他复杂的操作，如Markov Chain等，只需要对定义好的网络进行backpropagation即可完成生成网络的训练。在原始的GAN框架中，包括了两个部分，分别为生成网络（Generator）G和判别网络（Discriminator），其中生成网络（Generator）用于生成图片，判别网络（Discriminator）用于判别一张图片是否是真实的。通过不断提高生成网络的生成质量，最终“骗”过判别网络，在此过程中，判别网络也在不断提高自身的判别能力，通过如此的一个动态的“博弈”过程，最终，训练好的生成网络便可以用于生成“以假乱真”的图片。

2022-05-12

2430

生成对抗网络GAN

机器学习神经网络深度学习人工智能

生成对抗网络GAN（Generative adversarial nets）[1]是由Goodfellow等人于2014年提出的基于深度学习模型的生成框架，可用于多种生成任务。从名称也不难看出，在GAN中包括了两个部分，分别为”生成”和“对抗”，整两个部分也分别对应了两个网络，即生成网络（Generator）和判别网络（Discriminator），为描述简单，以图像生成为例：

2022-05-12

8060

深度卷积生成对抗网络DCGAN

机器学习深度学习人工智能神经网络卷积神经网络

在原始的GAN[1]中，生成网络和判别网络使用的都是前馈神经网络MLP。随着深度学习技术的发展，得益于卷积神经网络CNN在图像领域的成功，在DCGAN[2]中尝试将CNN与GAN相结合，用CNN网络替换GAN的生成网络和判别网络中的MLP，同时在训练的过程中使用了一些技巧来避免模型崩溃和模型不收敛等问题。

2022-05-12

5110

点击加载更多

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态