我目前正在Scala (Scala2.12.12)中编写一个Spark应用程序(Spark3.0.1),并希望对sql语句进行单元测试,以检查它们是否可以被正确解析。例如,我想检查一下:From a_tableSELECT a_column应该失败val query ="""SELECT | FROM a
因此,首先,我检查状态是否有任何可用的数据在卡夫卡处理。如果是,则处理它,然后停止查询。at org.apache.spark.util.ThreadUtils$.awaitReady(ThreadUtils.scala:222) at org.apache.spark.SparkContext.runJob
{ Left(42) // return an Int Right("Hello, world") // return a String但是下面的条件不起作用:条件" text“只是用来确定输入文件是文本文件还是parquet文件
val a: Either[org.apache.spark.rdd.RDD[String], org.apache.spark.rdd.RDDsparkSession.
(SparkCatalogEventProcessor.scala:36) at com.hortonworks.spark.atlas.sql.SparkCatalogEventProcessor.process(SparkCatalogEventProcessor.scala:28) at com.hortonworks.spark.atlas.AbstractEventProcessor$$anonfun$$$anonfun$eventProcess$1.apply(AbstractEventProcessor.<e