我的Hbase版本是0.92.1.
我发现我的减薪工作有类似于的异常:
java.io.IOException: HRegionInfo was null or empty in .META., row=keyvalues={single,20150411 hxmyxy2013 REF// 336d5ebc5436534e61d16e63ddfca327 7f92f92e8e693531c12a1dcc773f9ffa,1430298962344.ea72df9a3703e476b9f7e3368be47aa2./info:server/1430356486086/Put/vlen=28, s
我有一个C++服务,它公开了两个接口:
a. Submit():用于向YARNRM提交DistCp作业
查询():用于查询应用程序的状态。
这个服务内部调用一个Java客户机(通过JNI),它有两个静态函数:
提交()
查询()
提交()指定:
DistCp distCp = new DistCp(configuration, distCpOptions);
Job job = distCp.execute();
Parses the "application ID" from the tracking URL and returns it.
Query()做:
我在我的系统上运行hive,在那里我成功地创建了一个数据库和一个表。我已经使用位于我的HDFS上的csv文件加载了该表。
我成功地描述了hive中的表,看到了我想要创建的所有列。
我还成功地运行了返回大量数据的简单SELECT * FROM table;查询。
每当我试图运行一个比这更复杂的查询时,我的问题就开始了。具体地说,当我试图运行一个选择特定列名或选择任何数据聚合的查询时。如果我尝试其他任何操作,我会在map和reduce任务停留在0%一段时间后收到此错误消息。
Diagnostic Messages for this Task:
java.lang.RuntimeException:
我已经在hive中创建了一个外部表,比如说employees。这个employees表有3个分区,比如国家、年龄和性别。我对这个外部表使用我自己的自定义输入格式和serde实现。对此外部表执行select查询时,出现以下异常。
java.lang.RuntimeException: java.lang.IllegalArgumentException:无法从org.apache.hadoop.hive.ql.exec.ExecMapper.map(ExecMapper.java:161) at org.apache.hadoop.mapred.MapRunner.run(MapRunner.j
我使用Hadoop/hive,在处理以"00“开头的字符串数据时遇到了问题。
假设"00123“在Hadoop表中存储为string。我的问题是以下两个查询没有显示"00123“的原样。相反,显示的是"123“。
select id from DB.TABLE where id="00123" select cast(id as string) from DB.TABLE where id="00123"
我在Zeppelin上运行了上面的查询。有人能帮上忙吗?不确定问题是由Hadoop还是Zeppelin引起的。
我已经在hive中创建了一个表,并将数据填充到表中。( json data使用json serde)。我可以在控制台上获得查询结果。像这样:
select user from mytable....
现在,我使用以下命令将查询结果保存为逗号分隔的文件:
set hive.io.output.fileformat = CSVTextFile;
INSERT OVERWRITE LOCAL DIRECTORY '/host/Hadoop/' select user,task from my table
在/host/Hadoop位置创建了一个文件000000_0,但当我单击该文件打
我使用标准的hdfs,而不是S3来存储我的文件,使用amazon emr运行spark作业。我在hdfs://user/ hive /warehouse/中有一个配置单元表,但在运行我的spark作业时找不到它。我配置了spark属性spark.sql.warehouse.dir,以反映我的hdfs目录的spark属性,而纱线日志显示:
17/03/28 19:54:05 INFO SharedState: Warehouse path is 'hdfs://user/hive/warehouse/'.
稍后在日志中它会说(页末的完整日志):
LogType:stdout
Lo
我正在尝试使用Cqlstoragehandler运行配置单元查询,其中包含以下组件
hive 0.11.0 hadoop 2.5.1 cassandra 2.0.6
在cassandra中创建表之后,我在hive中执行了以下步骤
CREATE EXTERNAL TABLE metric (api string, name string, time timestamp, value double) STORED BY 'org.apache.hadoop.hive.cassandra.cql.CqlStorageHandler' WITH SERDEPROPERTIES("