首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >问答首页 >nmt中注意力解码器的余弦相似度

nmt中注意力解码器的余弦相似度
EN

Stack Overflow用户
提问于 2020-03-02 08:18:07
回答 1查看 456关注 0票数 1

我正在实现一个神经机器翻译模型,对于解码器部分(带有注意力机制),我想计算余弦相似度来找到分数。下面是函数:

score(a,b) =/||a|b||

在我的例子中:

代码语言:javascript
运行
复制
        a = htilde_t (N, H)

        b = h (S, N, H)

        the output should be (S, N)

我的困惑是关于它们的尺寸,我不知道如何在pytorch中解决这个问题。

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2020-03-02 17:37:12

查看此处:https://pytorch.org/docs/master/nn.html?highlight=cosine#torch.nn.CosineSimilarity

代码语言:javascript
运行
复制
cos = nn.CosineSimilarity(dim=2, eps=1e-6)
output = cos(a.unsqueeze(0),b)

您需要解压以添加重影维度,以使两个输入具有相同的尺寸:

代码语言:javascript
运行
复制
    Input1: (∗1,D,∗2) where D is at position dim

    Input2: (∗1,D,∗2) , same shape as the Input1

    Output: (∗1,∗2)
票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/60481045

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档