我正在尝试使用迭代器而不是文件来训练ByteLevelBPETokenizer。当我实例化训练器时,一定是我做错了什么,但我不知道是什么。当我尝试用我的数据集(来自Kaggle的服装数据)+ BpeTrainer训练记号赋予器时,我得到一个错误。TypeError**: 'tokenizers.trainers.BpeTrainer' object cannot be interpreted as an integer 我正在使用Colab 第1步:安装令牌<
我正在使用SentenceTransformers库(这里:)来使用预训练模型bert-base-nli-mean tokens创建句子的嵌入。我有一个应用程序将部署到不能访问互联网的设备上。Make sure that:
- '/bert-base-nli-mean-tokens' is a correct model identifier listed on 'https://huggingface.co