我正在尝试使用apache-spark集群模式。因此,我的集群由我的机器中的一个驱动程序和主机(独立机器)中的一个worker和manager组成。我使用sparkContext.addFile(filepath)发送了一个文本文件,其中的文件路径是我的文本文件在本地机器中的路径,我得到了以下输出:
INFO Utils: Copying /home/files
我们在Openshift中使用Open Data Hub pods框架,其中我们有我们的jupyterhub和spark。 目标是使用spark读取一堆csv文件并将其加载到mysql中。我得到的错误是在这个踏步How to set up JDBC driver for MySQL in Jupyter notebook for pyspark?中提到的。一种解决方案是复制spark主节点中的jar文件</e