火花上下文如下所示
SparkConf sparkConf = new SparkConf().setAppName(args[0]);
snappySes = new SnappySession(new SparkSession.Builder().config("spark.snappydata.connection", "localhost:1527").getOrCreate())
读取快速数据
snappySes.table("SNAPPY_COL_TABLE").show(10);
提交的职务如下
/usr/hdp/2.6.2.0-205/spark2/bin/spark-submit --conf --conf snappydata.connection=localhost:1527 --conf spark.ui.port=0 --master local[*] --driver-memory 2g --jars --deploy-mode client --conf spark.driver.extraClassPath=/root/snappydata-1.0.1-bin/jars/* --conf spark.executor.extraClassPath=/root/snappydata-1.0.1-bin/jars/* --class myclass
作业连接到snappydata,下面的日志
在集群模式下初始化SnappyData :智能连接器模式: sc = org.apache.spark.SparkContext@164d01ba,url = jdbc:snappydata://localhost1527/
但是失败的表,而不是found.This指向不同的存储,列出了不同的表
如果同一个作业是与snappy的snappy提交的。按预期工作。只有更改提交的作业是
/usr/hdp/2.6.2.0-205/spark2/bin/spark-submit --- fails
/root/snappydata-1.0.1-bin/bin/spark-submit ---- Pass
发布于 2018-05-09 11:27:56
想必您正在运行两个snappydata集群。而且,不知怎么的,您的localhost
没有一致地解决问题?如果您停止了snappy集群,那么当您提交到HDP时,会得到异常吗?
https://stackoverflow.com/questions/50253129
复制