我一直试图在mongodb地图服务器中使用突触火花池进行读写,我尝试过使用PyMongo,但我对使用mongodb火花连接器更感兴趣,但是在安装过程中,它们使用以下命令:
./bin/pyspark --conf "spark.mongodb.input.uri=mongodb://127.0.0.1/test.myCollection?readPreference=primaryPreferred" \
              --conf "spark.mongodb.output.uri=mongodb://127.0.0.1/test.myCollection" \
              --packages org.mongodb.spark:mongo-spark-connector_2.12:3.0.1我面临的问题是,Synapse火花池允许火花会话配置,但不允许包命令或使用火花外壳,我如何才能在火花池中进行分期付款?
发布于 2022-11-04 14:52:31
这可以通过直接在工作区包下安装jar来解决。下载连接器的jar,然后将其上传到synapse,然后上传到火花池。
https://stackoverflow.com/questions/74286257
复制相似问题