我有一些关于固件的一般性问题-宇宙,如果它们是基本的,很抱歉,但我正在努力了解宇宙的架构和使用。
我看到你正计划将Apache Spark整合到Cosmos中?你有实现这一目标的路线图或日期吗?如果我现在想使用Spark,会发生什么?
可以使用哪些Hadoop服务源?我想我读到Cosmos支持Cloudera CDH服务和原始Hadoop服务器服务?那么HortonWorks或MapR呢?
我知道非标准文件系统可以与Hadoop一起使用,例如MapR-FS,这样的选项在Cosmos中可能吗?
我还读到Cosmos“坐”在fiware之上,因此Hadoop as a service (HaaS)
我想要加载RDD,或者,如果失败,创建RDD。我认为下面的代码可以工作,但是即使sc.textFile()在try块中,它仍然失败。我遗漏了什么,或者我如何正确地做到这一点?谢谢!
// look for my RDD, load or make it
val rdddump = "hdfs://localhost/Users/data/hdfs/namenode/myRDD.txt"
val myRdd = try {
sc.textFile(rdddump)
} catch {
case _ : Throwable => {
println("
在使用spark- testing base进行单元测试时,我得到了以下错误
java.lang.NoClassDefFoundError: org/apache/hadoop/mapred/MRVersion
at org.apache.hadoop.hive.shims.Hadoop23Shims.isMR2(Hadoop23Shims.java:852)
at org.apache.hadoop.hive.shims.Hadoop23Shims.getHadoopConfNames(Hadoop23Shims.java:923)
at org.apache.hadoop.hive.con
使用Apache版本0.10.1.21 (报告)、CentOS版本6.3 (Final)、jdk1.6.0_31 ( Hortonworks Sandbox v1.2 on Virtualbox,3.5GBRAM)
$ cat data.txt
11,11,22
33,34,35
47,0,21
33,6,51
56,6,11
11,25,67
$ cat GrpTest.pig
A = LOAD 'data.txt' USING PigStorage(',') AS (f1:int,f2:int,f3:int);
B = GROUP A BY f1;
DES