我正在运行一个python脚本,它在集群上提交一个pyspark作业。然而,在GLIBC问题上,工作失败了。
Log Contents:
dev-env/bin/python: /lib64/libc.so.6: version 'GLIBC_2.14' not found (required by dev-env/bin/python)
dev-env/bin/python: /lib64/libc.so.6: version 'GLIBC_2.17' not found (required by dev-env/bin/python)
问题是,我的机器上的GLIBC版本是2.17。吡火花星系团上的GLIBC版本为2.10。我通过打开python并运行命令获得了这个结果。
>>> import platform
>>> platform.libc_ver()
('glibc', '2.17') # This is my machine
解决这个问题的一种方法是确保我的机器上的python使用GLIBC 2.10。不过,我不知道该怎么做。我正在使用anaconda创建python虚拟env。我该怎么处理这个?
发布于 2021-07-18 04:18:02
如何在python (anaconda)中使用较早版本的GLIBC?
您的问题并不是您的pyspark
在您的机器上使用GLIBC-2.17。您的问题是,您的pyspark
是针对GLIBC-2.17 (或更高版本)构建的。
您需要下载一个不同版本的pyspark
,一个适合在GLIBC-2.10机器上运行的版本。这样的版本在GLIBC-2.10和所有更高版本上都会运行良好。
https://stackoverflow.com/questions/68414109
复制相似问题