在由一个主服务器和一个工作服务器组成的spark独立集群上运行spark-submit时,由于出现错误ImportError: No module named caffe,所以不会导入caffe python模块
这似乎不是什么问题,只要我在本地通过spark-submit --master local script.py运行一个作业,caffe模块就可以很好地导入。
spark和caffe的环境变量当前设置在~/.profile下,并且它们指向PYTHONPATH。
~/.profile是否是设置这些变量的正确位置,或者可能需要进行系统范围的配置,例如在/etc/profile.d/下添加变