背景的不同是这样的:pytorch version: torch 1.5(gpu) vs torch 1.10& torch_xla 1.10(tpu)
# In the code of tpu setting, I modified some lines不提供torch 1.15版本,所以我将tpu设置为1.10。elif config.use_<em
在谷歌的竞争,我已经尝试了所有三个运行时: CPU,GPU,TPU。都犯了同样的错误。# NB: Only run in TPU environment
!pip install cloud-tpu-client==0.10 https://storage.googleapis.com/tpu-pytorch/wheels/torch_xla-1.8-cp37= XLADeviceUtils.tpu_device_exists(
代码取自这里的示例:https://huggingface.co/transformers/model_doc/albert.html#albertformaskedlm import osimport torch_xla.core.xla_model as xm
dev = xm.xla_device('al
lib/python3.7/site-packages/transformers/modeling_utils.py", line 798, in from_pretrainedModuleNotFoundError: No module named 'torch_xla' 我用谷歌搜索了一下,发现"torch_xla“是用来训练TPU上的pytorch模型的东
我在colab上使用pytorch,为了更快的训练,我使用了tpu和pytorch_xla 但当我运行代码时,它会生成一个错误,并显示Exception in device=TPU:0:如果设备数量(1pip install cloud-tpu-client==0.10 https://storage.googleapis.com/tpu-pytorch/wheels/torch_xla-1.9-cp37-cp37m-linux_x86_64.whl
i