从我原来在Stackoverflow中的文章中的交叉帖子:https://stackoverflow.com/questions/69595863/machine-translation-transformer-output-unknown-tokens
根据反馈,我现在更新了使用WordPiece的方法,该方法来自Huggingface的预先培训的BERT令牌器。然而,在翻译时,我仍然会遇到“灌篮”标记。我很好奇为什么还会发生这种事?我以为WordPiece会在不输出任何“灌篮”标记的情况下尝试解码。
这就是我如何标记我的数据,我使用德语到英语翻译任务。
from transformers
我试着用已经存在的固定供应的令牌来测试大众销售。我已经有了我的令牌,如果我使用帐户转移我的令牌,一切都很好,但是我不能附加到众包,因为我使用了ERC20标准,也许我遗漏了什么。
我的令牌类似于StandardToken是来自https://github.com/OpenZeppelin/zeppelin-solidity/tree/master/contracts/token的模式:
contract INOToken is StandardToken, Ownable {
string public constant name = "test";
string public