如何对形状为( batch_size，200，256)的张量进行索引，以获得(batch_size，1，256)长度为batch_size的索引张量列表？ - 腾讯云开发者社区

lengths（形状为(batch_size,)的torch.LongTensor，可选）— 每个句子的长度，可用于避免在填充标记索引上执行注意力。...lengths（形状为(batch_size,)的torch.LongTensor，可选）— 每个句子的长度，可用于避免在填充标记索引上执行注意力。...lengths（形状为(batch_size,)的torch.LongTensor，可选）— 每个句子的长度，可用于避免在填充标记索引上执行注意力。...lengths（形状为(batch_size,)的torch.LongTensor，可选）— 每个句子的长度，可用于避免在填充令牌索引上执行注意力。...lengths（形状为(batch_size,)的tf.Tensor或Numpy数组，可选）- 每个句子的长度，可用于避免在填充的标记索引上执行注意力。

1981 0

Transformers 4.37 中文文档（三十三）4-37-中文文档-三十三-

lengths (torch.LongTensor，形状为 (batch_size,)，可选) — 每个句子的长度，可用于避免在填充标记索引上执行注意力。...lengths (torch.LongTensor，形状为 (batch_size,)，可选) — 每个句子的长度，可用于避免在填充标记索引上执行注意力。...lengths（形状为(batch_size,)的torch.LongTensor，可选）— 每个句子的长度，可用于避免在填充标记索引上执行注意力。...lengths（形状为(batch_size,)的torch.LongTensor，可选）— 每个句子的长度，可用于避免在填充标记索引上执行注意力。...lengths（形状为(batch_size,)的tf.Tensor或Numpy数组，可选）— 每个句子的长度，可用于避免在填充标记索引上执行注意力。

1181 0

您找到你想要的搜索结果了吗？

是的

没有找到

Transformers 4.37 中文文档（二十六）

它还用作使用特殊标记构建的序列的最后一个标记。 cls_token（str，可选，默认为""）— 在进行序列分类（对整个序列进行分类而不是每个标记的分类）时使用的分类器标记。...的单个张量，没有其他内容：model(input_ids) 一个长度不同的列表，其中包含一个或多个按照文档字符串中给定的顺序的输入张量：model([input_ids, attention_mask...的tf.Tensor列表，每个张量的形状为(2, batch_size, num_heads, sequence_length, embed_size_per_head)。...的tf.Tensor列表，每个张量的形状为(2, batch_size, num_heads, sequence_length, embed_size_per_head)。...start_positions（形状为(batch_size,)的tf.Tensor，可选）— 用于计算标记跨度起始位置的标签（索引）。位置被夹紧到序列的长度（sequence_length）。

951 0

Transformers 4.37 中文文档（五十四）

cls_token (str, 可选, 默认为 "[CLS]") — 分类器标记，用于进行序列分类（对整个序列进行分类，而不是每个标记进行分类）。它是使用特殊标记构建时的序列的第一个标记。...encoder_attention_mask（形状为(batch_size, sequence_length)的torch.FloatTensor，可选）— 用于避免对编码器输入的填充标记索引执行注意力的掩码...的tf.Tensor列表，每个张量的形状为(2, batch_size, num_heads, sequence_length, embed_size_per_head)。...列表，每个张量的形状为(2, batch_size, num_heads, sequence_length, embed_size_per_head)。...end_positions（tf.Tensor或形状为(batch_size,)的np.ndarray，可选）— 用于计算标记范围结束位置的位置（索引）标签，以计算标记分类损失。

1381 0

Pytorch中张量的高级选择操作

最后以表格的形式总结了这些函数及其区别。 torch.index_select torch.index_select 是 PyTorch 中用于按索引选择张量元素的函数。...现在我们使用3D张量，一个形状为[batch_size, num_elements, num_features]的张量:这样我们就有了num_elements元素和num_feature特征，并且是一个批次进行处理的...它类似于 torch.index_select 和 torch.gather，但是更简单，只需要一个索引张量即可。它本质上是将输入张量视为扁平的，然后从这个列表中选择元素。...例如:当对形状为[4,5]的输入张量应用take，并选择指标6和19时，我们将获得扁平张量的第6和第19个元素——即来自第2行的第2个元素，以及最后一个元素。...适用于较为简单的索引选取操作。 torch.gather适用于根据索引从输入张量中收集元素并形成新张量的情况。可以根据需要在不同维度上进行收集操作。

1141 0

Transformers 4.37 中文文档（二十一）

一个关于如何使用 fastai 和 blurr微调 BART 进行摘要的笔记本。一个关于如何使用 Trainer 类微调 BART 以在两种语言中进行摘要的笔记本。...掩码语言建模任务指南翻译一个关于如何使用 Seq2SeqTrainer微调 mBART 以进行印地语到英语翻译的笔记本。...attention_mask（形状为(batch_size, sequence_length)的tf.Tensor，可选）- 避免对填充标记索引执行注意力的掩码。...列表，每个张量的形状为(2, batch_size, num_heads, sequence_length, embed_size_per_head)。...列表，每个张量的形状为(2, batch_size, num_heads, sequence_length, embed_size_per_head)）。

1141 0

Transformers 4.37 中文文档（四十三）

cls_token (str, 可选, 默认为 "") — 在进行序列分类时使用的分类器标记（对整个序列进行分类，而不是对每个标记进行分类）。...attention_mask (torch.Tensor，形状为(batch_size, sequence_length)，可选) — 用于避免对填充标记索引执行注意力的掩码。...encoder_attention_mask (torch.FloatTensor，形状为(batch_size, sequence_length)，可选) — 用于避免对编码器输入的填充标记索引执行注意力的掩码...的 tf.Tensor 列表，每个张量的形状为 (2, batch_size, num_heads, sequence_length, embed_size_per_head)。...列表，每个张量的形状为(2, batch_size, num_heads, sequence_length, embed_size_per_head)。

1141 0

Transformers 4.37 中文文档（三十四）

该模型在最大序列长度为 512 的情况下进行训练，其中包括填充标记。因此，强烈建议在微调和推理时使用相同的最大序列长度。...cls_token (str, optional, defaults to "[CLS]") — 用于序列分类时使用的分类器标记（对整个序列进行分类，而不是对每个标记进行分类）。...cls_token（str，可选，默认为"[CLS]"）— 分类器标记，用于进行序列分类（对整个序列进行分类，而不是对每个标记进行分类）。在使用特殊标记构建时，它是序列的第一个标记。...end_positions（形状为(batch_size,)的torch.LongTensor，可选）— 用于计算标记范围结束位置的位置（索引）的标签，以计算标记分类损失。...start_positions (tf.Tensor，形状为 (batch_size,)，可选) — 用于计算标记跨度开始位置（索引）的标签。位置被夹紧到序列的长度（sequence_length）。

1031 0

Transformers 4.37 中文文档（四十五）

length — 输入的长度（当 return_length=True 时）用于对一个或多个序列或一个或多个序列对进行标记化和准备模型的主要方法，具体取决于您要为其准备的任务。...cls_token (str, 可选, 默认为 "[CLS]") — 分类器标记，用于进行序列分类（对整个序列进行分类，而不是对每个标记进行分类）。...attention_mask（形状为(batch_size, sequence_length)的torch.FloatTensor，可选）-避免对填充令牌索引执行注意力的掩码。...start_positions（形状为(batch_size,)的tf.Tensor，可选）— 用于计算标记跨度的开始位置（索引）的标签，以计算标记分类损失。...start_positions（形状为(batch_size,)的tf.Tensor，可选）— 用于计算标记跨度的开始位置（索引）的标签，以计算标记分类损失。

1421 0

Transformers 4.37 中文文档（二十九）

cls_token (str, 可选, 默认为 "[CLS]") — 在进行序列分类（对整个序列进行分类而不是对每个标记进行分类）时使用的分类器标记。...通过对预训练的 BERT 模型进行蒸馏训练，意味着它已经被训练以预测与较大模型相同的概率。...多项选择任务指南 ⚗️ 优化一篇关于如何使用 Optimum 和 Intel 对 DistilBERT 进行量化的博客文章。...attention_mask (torch.FloatTensor，形状为(batch_size, num_choices)，可选) — 避免对填充标记索引执行注意力的掩码。...attention_mask（形状为(batch_size, sequence_length)的Numpy数组或tf.Tensor，可选）- 避免对填充标记索引执行注意力的掩码。

1571 0

Transformers 4.37 中文文档（二十八）

列表，每个张量的形状为(2, batch_size, num_heads, sequence_length, embed_size_per_head)）。...的tf.Tensor列表，每个张量的形状为(2, batch_size, num_heads, sequence_length, embed_size_per_head)。...attention_mask（形状为(batch_size, sequence_length)的tf.Tensor或Numpy 数组，可选）— 避免对填充标记索引执行注意力的掩码。...cls_token (str, 可选, 默认为 "[CLS]") — 用于序列分类时使用的分类器标记（对整个序列进行分类，而不是对每个标记进行分类）。...的张量，没有其他内容：model(input_ids) 一个长度可变的列表，其中包含一个或多个按照文档字符串中给定的顺序的输入张量：model([input_ids, attention_mask

1531 0

Transformers 4.37 中文文档（三十六）

的单个张量，没有其他内容：model(input_ids) 一个长度可变的列表，其中包含一个或多个输入张量，按照文档字符串中给定的顺序：model([input_ids, attention_mask...列表，每个张量的形状为(2, batch_size, num_heads, sequence_length, embed_size_per_head)）。...的tf.Tensor列表，每个张量的形状为(2, batch_size, num_heads, sequence_length, embed_size_per_head)）。...的 tf.Tensor 列表，每个张量的形状为 (2, batch_size, num_heads, sequence_length, embed_size_per_head)。...的单个张量，没有其他内容：model(input_ids) 一个长度可变的列表，其中包含一个或多个按照文档字符串中给定顺序的输入张量：model([input_ids, attention_mask

1421 0

Transformers 4.37 中文文档（五十九）

文本分类一个关于如何微调 T5 进行分类和多项选择的笔记本。一个关于如何微调 T5 进行情感跨度提取的笔记本。标记分类一个关于如何微调 T5 进行命名实体识别的笔记本。...翻译任务指南问答一个关于如何使用 TensorFlow 2 对T5 进行问题回答微调的笔记本。一个关于如何在 TPU 上对T5 进行问题回答微调的笔记本。...的单个张量，没有其他内容：model(input_ids) 一个长度可变的列表，其中包含按照文档字符串中给定的顺序的一个或多个输入张量：model([input_ids, attention_mask...列表，每个张量的形状为(2, batch_size, num_heads, sequence_length, embed_size_per_head)。...的tf.Tensor列表，每个张量的形状为(2, batch_size, num_heads, sequence_length, embed_size_per_head)。

1841 0

Transformers 4.37 中文文档（四十二）

的元组，每个元组有 2 个形状为(batch_size, num_heads, sequence_length, embed_size_per_head)的张量和 2 个额外的形状为(batch_size...列表，每个张量形状为(2, batch_size, num_heads, sequence_length, embed_size_per_head)。...的 tf.Tensor 列表，每个张量的形状为 (2, batch_size, num_heads, sequence_length, embed_size_per_head)。...如果未提供decoder_input_ids，模型将通过将input_ids向右移动来创建此张量，以进行去噪预训练，遵循论文。...attention_mask (torch.FloatTensor，形状为 (batch_size, sequence_length)，optional) — 用于避免对填充标记索引执行注意力的掩码。

1621 0

Transformers 4.37 中文文档（五十）

资源一个官方的 Hugging Face 和社区（由表示）资源列表，可帮助您开始使用 OPT。如果您有兴趣提交资源以包含在此处，请随时提出拉取请求，我们将进行审查。...列表，每个张量的形状为(2, batch_size, num_heads, sequence_length, embed_size_per_head)。...的tf.Tensor列表，每个张量的形状为(2, batch_size, num_heads, sequence_length, embed_size_per_head)。...attention_mask（形状为(batch_size, sequence_length)的torch.Tensor，可选） — 用于避免对填充标记索引执行注意力的掩码。...列表，每个张量的形状为(2, batch_size, num_heads, sequence_length, embed_size_per_head)。

951 0

Transformers 4.37 中文文档（三十七）

文本生成一篇关于如何使用 Hugging Face 对非英语 GPT-2 模型进行微调的博客。...列表，每个张量的形状为(2, batch_size, num_heads, sequence_length, embed_size_per_head)。...attention_mask（形状为(batch_size, sequence_length)的torch.FloatTensor，可选）- 用于避免对填充标记索引执行注意力的掩码。...列表，每个张量的形状为(2, batch_size, num_heads, sequence_length, embed_size_per_head)。...列表，每个张量的形状为(2, batch_size, num_heads, sequence_length, embed_size_per_head)。

741 0

Transformers 4.37 中文文档（二十五）

token_ids_1 (List[int], 可选) — 序列对的可选第二个 ID 列表。返回 List[int] 零的列表。从传递的两个序列创建一个用于序列对分类任务的掩码。...attention_mask（形状为(batch_size, sequence_length)的torch.Tensor，可选）— 用于避免对填充标记索引执行注意力。...encoder_attention_mask（形状为(batch_size, sequence_length)的torch.FloatTensor，可选）— 用于避免对编码器输入的填充标记索引执行注意力...的tf.Tensor列表，每个张量的形状为(2, batch_size, num_heads, sequence_length, embed_size_per_head)。...的tf.Tensor列表，每个张量的形状为(2, batch_size, num_heads, sequence_length, embed_size_per_head)。

741 0

Transformers 4.37 中文文档（四十一）

这是通过将输入序列分割为固定长度k的块（默认为k=16）来实现的。然后，通过对该块中每个标记的嵌入进行求和和归一化，获得该块的全局标记。...它还用作使用特殊标记构建的序列的最后一个标记。 cls_token（str，可选，默认为""）— 在进行序列分类（对整个序列而不是每个标记进行分类）时使用的分类器标记。...如果形状为 (batch_size, entity_length)，则使用交叉熵损失进行单标签分类。...., config.num_labels - 1] 中的索引。如果形状为 (batch_size, entity_length, num_labels)，则使用二元交叉熵损失进行多标签分类。...start_positions（形状为(batch_size,)的torch.LongTensor，可选）— 用于计算标记范围开始位置的位置（索引）的标签，以计算标记分类损失。

711 0

Transformers 4.37 中文文档（二十四）

start_positions（形状为(batch_size,)的torch.LongTensor，可选）- 用于计算标记跨度的开始位置（索引）的标签，以计算标记分类损失。...end_positions（形状为(batch_size,)的torch.LongTensor，可选）- 用于计算标记跨度的结束位置（索引）的标签，以计算标记分类损失。...它还用作使用特殊标记构建的序列的最后一个标记。 cls_token（str，可选，默认为""）—分类器标记，用于进行序列分类（对整个序列进行分类，而不是对每个标记进行分类）。...列表，每个张量的形状为(2, batch_size, num_heads, sequence_length, embed_size_per_head)。...的 tf.Tensor 列表，每个张量的形状为 (2, batch_size, num_heads, sequence_length, embed_size_per_head)。

781 0

Transformers 4.37 中文文档（六十二）

encoder_attention_mask（形状为(batch_size, sequence_length)的torch.FloatTensor，可选）— 用于避免对编码器输入的填充标记索引执行注意力...文本分类一篇关于如何在 AWS 上使用 Habana Gaudi 对 XLM RoBERTa 进行多类别分类微调的博客文章 XLMRobertaForSequenceClassification...列表，每个张量的形状为(2, batch_size, num_heads, sequence_length, embed_size_per_head)。...列表，每个张量的形状为(2, batch_size, num_heads, sequence_length, embed_size_per_head)。...end_positions（形状为(batch_size,)的tf.Tensor，可选）- 用于计算标记跨度结束位置的位置（索引）的标签，以计算标记分类损失。

1571 0

点击加载更多

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

Transformers 4.37 中文文档（六十一）

Transformers 4.37 中文文档（三十三）4-37-中文文档-三十三-

Transformers 4.37 中文文档（二十六）

Transformers 4.37 中文文档（五十四）

Pytorch中张量的高级选择操作

Transformers 4.37 中文文档（二十一）

Transformers 4.37 中文文档（四十三）

Transformers 4.37 中文文档（三十四）

Transformers 4.37 中文文档（四十五）

Transformers 4.37 中文文档（二十九）

Transformers 4.37 中文文档（二十八）

Transformers 4.37 中文文档（三十六）

Transformers 4.37 中文文档（五十九）

Transformers 4.37 中文文档（四十二）

Transformers 4.37 中文文档（五十）

Transformers 4.37 中文文档（三十七）

Transformers 4.37 中文文档（二十五）

Transformers 4.37 中文文档（四十一）

Transformers 4.37 中文文档（二十四）

Transformers 4.37 中文文档（六十二）

扫码

相关资讯

热门标签

活动推荐

运营活动

社区

活动

资源

关于

腾讯云开发者

热门产品

热门推荐

更多推荐