在由一个主服务器和一个工作服务器组成的spark独立集群上运行spark-submit时,由于出现错误ImportError: No module named caffe,所以不会导入caffe python模块
这似乎不是什么问题,只要我在本地通过spark-submit --master local script.py运行一个作业,caffe模块就可以很好地导入。spark和caffe的环境变量当前设置在~/.profile下,并且它们指向PYTHONPATH。
CXX/LD -o python/caffe/_caffe.so python/caffe/_caffe.cpp python/caffe/_caffe.cpp:10:10: fatal error:arrayobject.h' file not found ^ 1 error generated. make