代码示例：
## nn.MultiheadAttention 输入第0维为length
# batch_size 为 64，有 12 个词，每个词的 Query 向量是 300 维
query = torch.rand...(12,64,300)
# batch_size 为 64，有 10 个词，每个词的 Key 向量是 300 维
key = torch.rand(10,64,300)
# batch_size 为 64...64，有 12 个词，每个词的 Query 向量是 300 维
# V: [64,10,300], batch_size 为 64，有 10 个词，每个词的 Query 向量是 300...维
query = torch.rand(64, 12, 300)
# batch_size 为 64，有 12 个词，每个词的 Key 向量是 300 维
key = torch.rand(64,...上述pytorch的示例实际上对应的是if causality下面的代码，因为在编码阶段：Q=K=V（它们之间的维度是相同的），在解码阶段，Q来自于解码阶段的输入，即可以是[64,12,300]，而K和
云服务器
ICP备案
腾讯会议
云直播
对象存储
