首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >问答首页 >错误Azure Synapse Notebook: ImportError: tokenizers>=0.10.1,此模块的正常运行需要<0.11,但找到tokenizers==0.9.2

错误Azure Synapse Notebook: ImportError: tokenizers>=0.10.1,此模块的正常运行需要<0.11,但找到tokenizers==0.9.2
EN

Stack Overflow用户
提问于 2021-09-28 18:53:45
回答 1查看 487关注 0票数 0

我正在尝试在Azure synapse Notebook中执行以下命令。

代码语言:javascript
运行
复制
from transformers import AutoTokenizer, AutoModelForMaskedLM 
tokenizer = AutoTokenizer.from_pretrained("bert-base-uncased")
model = AutoModelForMaskedLM.from_pretrained("bert-base-uncased")

然而,我得到了下面的错误。

代码语言:javascript
运行
复制
ImportError: tokenizers>=0.10.1,<0.11 is required for a normal functioning of this module, but found tokenizers==0.9.2.
Try: pip install transformers -U or pip install -e '.[dev]' if you're working with git master
Traceback (most recent call last):

  File "/home/trusted-service-user/cluster-env/env/lib/python3.6/site-packages/transformers/__init__.py", line 43, in <module>
    from . import dependency_versions_check

  File "/home/trusted-service-user/cluster-env/env/lib/python3.6/site-packages/transformers/dependency_versions_check.py", line 41, in <module>
    require_version_core(deps[pkg])

  File "/home/trusted-service-user/cluster-env/env/lib/python3.6/site-packages/transformers/utils/versions.py", line 120, in require_version_core
    return require_version(requirement, hint)

  File "/home/trusted-service-user/cluster-env/env/lib/python3.6/site-packages/transformers/utils/versions.py", line 114, in require_version
    _compare_versions(op, got_ver, want_ver, requirement, pkg, hint)

  File "/home/trusted-service-user/cluster-env/env/lib/python3.6/site-packages/transformers/utils/versions.py", line 50, in _compare_versions
    f"{requirement} is required for a normal functioning of this module, but found {pkg}=={got_ver}.{hint}"

ImportError: tokenizers>=0.10.1,<0.11 is required for a normal functioning of this module, but found tokenizers==0.9.2.
Try: pip install transformers -U or pip install -e '.[dev]' if you're working with git master

即使我升级了transformer和tokenizer版本,并通过下面的代码进行了验证,上面的错误仍然存在:

代码语言:javascript
运行
复制
import pkg_resources
for d in pkg_resources.working_set:
    print(d)

以上代码的输出示例:

代码语言:javascript
运行
复制
transformers 4.10.3
tokenizers 0.10.3

有什么想法或建议吗?提前谢谢。

EN

回答 1

Stack Overflow用户

发布于 2021-09-30 11:15:16

代码语言:javascript
运行
复制
ImportError: tokenizers>=0.10.1,<0.11 is required for a normal functioning of this module, but found tokenizers==0.9.2

此错误可能是由于您的环境具有不同的版本,您可以尝试强制安装:

代码语言:javascript
运行
复制
pip install -I transformers --no-cache-dir --force-reinstall

您可以在Github中引用类似的问题。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/69367112

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档