首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

Transformers 4.37 中文文档(六十二)

attention_mask(形状为(batch_size, sequence_length)Numpy数组或tf.Tensor,可选)- 避免在填充标记索引上执行注意力掩码。...attention_mask(形状为(batch_size, sequence_length)numpy.ndarray,可选)— 避免在填充令牌索引上执行注意力掩码。...attention_mask(形状为(batch_size, sequence_length)numpy.ndarray,可选)- 用于避免在填充标记索引上执行注意力掩码。...attention_mask(形状为 (batch_size, sequence_length) numpy.ndarray,可选)— 避免在填充标记索引上执行注意力掩码。...attention_mask(形状为(batch_size, sequence_length)numpy.ndarray,可选)— 用于避免在填充标记索引上执行注意力掩码

12610

Transformers 4.37 中文文档(二十)

这包括从序列中提取特征,例如,对音频文件进行预处理以生成 Log-Mel Spectrogram 特征,从图像中提取特征,例如,裁剪图像文件,但也包括填充、归一化和转换为 NumPyPyTorch 和...return_attention_mask (bool, 可选) — 是否返回注意力掩码。如果保持默认,将根据特定 feature_extractor 默认返回注意力掩码。...选择掩码为[0, 1]: 对于未被掩码标记为 1, 对于被掩码标记为 0。 什么是注意力掩码?...掩码选择在[0, 1]之间: 1 对应于未被掩码标记, 对于被masked标记,为 0。 什么是注意力掩码?...掩码选择在[0, 1]中: 对于未被masked token,为 1, 对于被masked token,为 0。 什么是注意力掩码

10510

Transformers 4.37 中文文档(三十五)

+ `attention_mask`(形状为`(batch_size, sequence_length)``tf.Tensor`或`Numpy`数组,*可选*)- 避免在填充标记索引上执行注意力掩码...+ `attention_mask`(`tf.Tensor`或形状为`(batch_size, sequence_length)``Numpy array`,*可选*)— 用于避免在填充标记索引上执行注意力掩码...掩码选择在`[0, 1]`之间: + 对于`未掩码`标记,为 1, + 对于`被掩码`标记,为 0。 什么是注意力掩码?...+ `attention_mask`(形状为`(batch_size, sequence_length)``numpy.ndarray`,*可选*)- 用于避免在填充标记索引上执行注意力掩码。...+ `attention_mask`(形状为`(batch_size, sequence_length)``numpy.ndarray`,*可选*)- 用于避免在填充标记索引上执行注意力掩码

12810

PyTorch和Tensorflow版本更新点

目录: •张量广播(numpy样式) •张量和变量高级索引 •高阶梯度 •分布式PyTorch(多节点训练等) •神经网络层和特征:SpatialTransformers、WeightNorm、EmbeddingBag...•然后,对于每个维度大小,生成维度大小是沿该维度x和y大小最大。...此外,每个torch函数列出了其文档中广播语义。 张量和变量高级索引 PyTorch现在支持NumPy样式高级索引子集。...• 现在可以使用ignore_index参数计算cross_entropy_loss和nll_loss来忽略特定目标索引。这是实现掩码廉价实用方式,你可以在其中使用在计算损失时忽略掩码索引。...添加此代码将生成突出显示不兼容代码警告。 修复代码不再生成警告。 ? 一旦所有警告消失,你可以删除代码段。 详情 现在,让我们看看这三个不相容变化与例子。

2.6K50

Transformers 4.37 中文文档(三十六)

attention_mask(形状为(batch_size, sequence_length)tf.Tensor或Numpy 数组,可选)— 用于避免在填充标记索引上执行注意力掩码。...attention_mask(形状为(batch_size, sequence_length)tf.Tensor或Numpy array,可选)- 用于避免在填充标记索引上执行注意力掩码。...选择在[0, 1]中掩码: 1 表示未被掩码标记, 0 表示被掩码标记。 什么是注意力掩码?...attention_mask(形状为(batch_size, sequence_length)tf.Tensor或Numpy数组,可选)- 用于避免在填充标记索引上执行注意力掩码。...attention_mask(形状为(batch_size, sequence_length)numpy.ndarray,可选)— 用于避免在填充标记索引上执行注意力掩码

12510

Transformers 4.37 中文文档(六十一)

根据指定参数实例化 X-MOD 模型,定义模型架构。使用默认实例化配置将产生类似于facebook/xmod-base架构配置。...它用于根据指定参数实例化 XGLM 模型,定义模型架构。使用默认实例化配置将产生类似于 XGLM facebook/xglm-564M 架构配置。...mask_token_id (int, optional, defaults to 0) — 用于在 MLM 上下文中生成文本时识别掩码标记模型不可知参数。...attention_mask(形状为(batch_size, sequence_length)Numpy数组或tf.Tensor,可选)- 避免对填充标记索引执行注意力掩码。...attention_mask(形状为(batch_size, sequence_length)Numpy数组或tf.Tensor,可选)- 用于避免在填充标记索引上执行注意力掩码

14310

Transformers 4.37 中文文档(二十五)

因果掩码也将默认使用。 如果要更改填充行为,应根据需要进行修改。有关默认策略更多信息,请参见论文中图表 1。...默认情况下还将使用因果掩码。 如果要更改填充行为,应根据需要进行修改。有关默认策略更多信息,请参阅论文中图表 1。...因果掩码也将默认使用。 如果要更改填充行为,应根据需要进行修改。有关默认策略更多信息,请参阅 论文 中图表 1。...attention_mask(形状为(batch_size, sequence_length)numpy.ndarray,可选)— 用于避免在填充标记索引上执行注意力掩码。...attention_mask (numpy.ndarray,形状为(batch_size, sequence_length),可选) — 避免在填充标记索引上执行注意力掩码

5310

Transformers 4.37 中文文档(三十七)

使用这个(past_key_values 或 past)可以防止模型在文本生成上下文中重新计算预先计算。...attention_mask(形状为(batch_size, sequence_length)tf.Tensor或Numpy数组,可选)- 用于避免在填充标记索引上执行注意力掩码。...attention_mask(形状为(batch_size, sequence_length)tf.Tensor或Numpy 数组,可选)- 用于避免在填充令牌索引上执行注意力掩码。...attention_mask(形状为(batch_size, sequence_length)tf.Tensor或Numpy array,可选)- 用于避免在填充标记索引上执行注意力掩码。...attention_mask(形状为(batch_size, sequence_length)numpy.ndarray,可选)— 避免在填充标记索引上执行注意力掩码

6710

Transformers 4.37 中文文档(八十一)

它用于根据任务指导模型生成过程。 use_cache (bool, optional, 默认为True) — 模型是否应返回最后键/注意力(并非所有模型都使用)。...每个序列可以是 numpy 数组,浮点列表,numpy 数组列表或浮点列表列表。必须是单声道音频,不是立体声,即每个时间步长一个浮点数。...因果掩码也将默认使用。如果要更改填充行为,应根据需要进行修改。有关默认策略更多信息,请参见论文中图表 1。...因果掩码也将默认使用。如果要更改填充行为,应根据需要进行修改。有关默认策略更多信息,请参见论文中图表 1。...默认情况下还将使用因果掩码。如果要更改填充行为,应根据需要进行修改。有关默认策略更多信息,请参见 论文 中图表 1。

17210

张量基础操作

(numpy_array) print("Tensor:", tensor) 标量张量和数字转换 对于只有一个元素张量,使用 item 方法将该从张量中提取出来。...在深度学习框架中,张量索引操作通常用于访问和修改张量中数据。以下是一些基本张量索引操作: 基础索引:可以通过指定张量维度和对应索引来获取张量中特定元素。...如果指定步长为2,如 t1[2:8:2],则会隔一个元素取一个,返回索引为2、4、6元素形成新张量。 高级索引:包括布尔索引掩码索引等。...布尔索引允许根据一个布尔张量来选择数据,而掩码索引则使用一个具有相同形状张量作为掩码来选择数据。...布尔索引:布尔索引是使用一个与目标张量形状相同布尔张量来选择元素。在布尔张量中,True对应位置元素会被选中并组成一个新张量。

10910

Transformers 4.37 中文文档(四十三)

MBart 使用特定语言 id 标记作为decoder_input_ids生成起始标记,根据源语言和目标语言而变化,例如对于en_XX为 25004,对于de_DE为 25003。...MBart 使用特定语言 ID 标记作为decoder_input_ids生成起始标记,根据源语言和目标语言不同而变化,例如en_XX为 25004,de_DE为 25003。...MBart 使用特定语言 ID 标记作为decoder_input_ids生成起始标记,根据源语言和目标语言而变化,例如en_XX为 25004,de_DE为 25003。...MBart 使用特定语言 ID 标记作为decoder_input_ids生成起始标记,根据源语言和目标语言而变化,例如对于en_XX为 25004,对于de_DE为 25003。...MBart 使用特定语言 ID 令牌作为decoder_input_ids生成起始令牌,根据源语言和目标语言而变化,例如en_XX为 25004,de_DE为 25003。

9510
领券