我试图使用星火红移库,并且无法操作由sqlContext.read()命令创建的数据(从redshift读取)。
这是我的代码:
Class.forName("com.amazon.redshift.jdbc41.Driver")
val conf = new SparkConf().setAppName("Spark Application").setMaster("local[2]")
val sc = new SparkContext(conf)
import org.apache.spark.sql._
val sqlContext
我是新来的火花/斯卡拉。我正在尝试读取一些数据从一个蜂窝表到一个火花数据,然后添加一个列的基础上的一些条件。这是我的代码:
val DF = hiveContext.sql("select * from (select * from test_table where partition_date='2017-11-22') a JOIN (select max(id) as bid from test_table where partition_date='2017-11-22' group by at_id) b ON a.id=b.bid")
我正在运行一个简单的sparkSQL查询,它在两个数据集上进行匹配,每个数据集大约是500 is。所以整个数据都在1TB左右。
val adreqPerDeviceid = sqlContext.sql("select count(Distinct a.DeviceId) as MatchCount from adreqdata1 a inner join adreqdata2 b ON a.DeviceId=b.DeviceId ")
adreqPerDeviceid.cache()
adreqPerDeviceid.show()
作业工作良好,直到数据加载(10k任务分配
在Spark Java中编写时,我在访问Dataframe的行中的一列时遇到此错误。我不明白为什么从行中检索WrappedArray而不是普通数组。 java.lang.ClassCastException: class scala.collection.mutable.WrappedArray$ofRef cannot be cast to class [Ljava.lang.String 示例代码: String[] myarray = my_df_row.getAs("col_name"); 我需要Java代码,而不是scala或python。如何解决这个问题?
运行Spark1.3.1和1.4.1时得到以下错误
parquet.Preconditions.checkState(ZLjava/lang/String;:java.lang.NoSuchMethodError( parquet.schema.Types$PrimitiveBuilder.build(Types.java:314) at parquet.schema.Types$PrimitiveBuilder.build(Types.java:232) at parquet.schema.Types$Builder.named(Types.java:210) at org.apache.
我正在尝试访问一个hive表,并从表/ dataframe中提取和转换某些列,然后将这些新列放到一个新的dataframe中。我正试着这样做-
val sqlContext = new org.apache.spark.sql.hive.HiveContext(sc)
val hiveDF = sqlContext.sql("select * from table_x")
val system_generated_id = hiveDF("unique_key")
val application_assigned_event_id = hiveDF("
我正在使用spark 1.3.1,我想以ORC格式以蜂巢形式存储数据。
在下面显示错误的行中,看起来orc不支持spark 1.3.1中的数据源。
dataframe.save("/apps/hive/warehouse/person_orc_table_5", "orc");
java.lang.RuntimeException: Failed to load class for data source: orc
at scala.sys.package$.error(package.scala:27)
at org.apache.spark
我已经在基于SP3的SLES 11的HDP2.3上安装了Vora1.2。
当我试图按照新安装和管理手册第2.7节(第34页)对Vora进行基于命令行的验证时,我现在得到了一个新的错误:
scala> vc.sql(testsql)
com.sap.spark.vora.discovery.DiscoveryException: Could not connect to Consul Agent on localhost:8500 : null at
com.sap.spark.vora.discovery.ConsulDiscoveryClient$ConsulDisc
我写了一个类,它得到一个DataFrame,在它上面做一些计算,并可以导出结果。数据帧由密钥列表生成。我知道我现在正在以一种非常低效的方式做这件事:
var l = List(34, 32, 132, 352) // Scala List
l.foreach{i =>
val data:DataFrame = DataContainer.getDataFrame(i) // get DataFrame
val x = new MyClass(data) // initialize MyClass with new Ob
我想要管道一个python机器学习文件,预测输出,然后将它附加到我的数据文件中,然后保存它。我得到的错误是:-
异常详细信息
Exception in thread "main" org.apache.spark.sql.AnalysisException: Queries with streaming sources must be executed with writeStream.start();;
kafka
t org.apache.spark.sql.catalyst.analysis.UnsupportedOperationChecker$.throwError(
我在这个博客上尝试了一个窗口函数的例子。
如果在运行program.My问题时出现以下错误,是否需要hivecontext来执行spark中的窗口函数?
Exception in thread "main" org.apache.spark.sql.AnalysisException: Could not resolve window function 'avg'. Note that, using window functions currently requires a HiveContext;
at org.apache.spark.sql.cat