我有一个名为spark-docker的spark的docker镜像和卡桑德拉官方的docker镜像cassandra。我想从spark-docker运行一个spark-submit作业,它将在cassandra中写入数据。spark-docker的Dockerfile如下: FROM bde2020/spark-python-template:2.4.0-hadoop2.7
MAINTA
我正在尝试弄清楚如何针对Cassandra数据库测试Spark SQL查询--有点像您在SQL Server Management Studio中所做的那样。目前,我不得不打开Spark控制台并输入Scala命令,这真的很单调乏味,而且容易出错。如何在不使用控制台或编写自己的应用程序的情况下测试spark查询?
在Spark-2.0中,创建火花会话的最佳方法是什么。因为在Spark-2.0和Cassandra中,API已经被重新加工,本质上是反对SqlContext (也包括CassandraSqlContext)。因此,对于执行SQL- -要么我创建一个Cassandra会话(com.datastax.driver.core.Session) and use execute( " ")。或者我必须创建一