我已经安装了cloudera cdh4版本,并且正在尝试运行mapreduce作业。我正在跟踪错误->
2012-07-09 15:41:16 ZooKeeperSaslClient [INFO] Client will not SASL-authenticate because the default JAAS configuration section 'Client' could not be found. If you are not using SASL, you may ignore this. On the other hand, if you expect
我是Hadoop的新手,我有一个流动的问题:
当我试图运行我的工作流程时,我总是得到一个"java.lang.ClassNotFoundException“。我使用Cloudera快速启动VM v4.5。
已使用的oozzie设置:
Jar名称: sample.jar
主要课程:司机
参数:in_单项/ out
用过的java类
public class Driver{
public static class TokenizerMapper extends Mapper<Object, Text, Text, Text>
{
@Override
我有一个Spring引导应用程序,它通过Kerberos保护的Apache安全地通过Webhdfs访问HDFS。我使用自定义方案(swebhdfsknox)创建了自己的KnoxWebHdfsFileSystem,作为WebHdfsFilesystem的子类,它只更改URL以包含Knox代理前缀。因此,它有效地从表单中映射请求:
http://host:port/webhdfs/v1/...
给诺克斯一号:
http://host:port/gateway/default/webhdfs/v1/...
我通过重写两种方法来做到这一点:
public URI getUri()
URL to
在配置单元中添加jar是如何工作的?当我添加本地jar文件时,添加jar /users/course/jars/json-serde-1.3.1.jar;
配置单元查询失败,并表示在hdfs的同一目录中找不到jar。作业提交失败,出现异常'java.io.FileNotFoundException(File does not exist: hdfs://localhost:9000/users/course/jars/json-serde-1.3.1.jar)
然后我将jar放到hdfs中,使用该hdfs文件路径添加jar。添加jar hdfs://localhost/users/co
我根据 博主的文档配置oozie调用spark2.报错 。
Main class : org.apache.oozie.action.hadoop.SparkMain
Maximum output : 2048
Arguments :
Java System Properties:
------------------------
#
#Sat Jun 16 14:08:16 CST 2018
java.runtime.name=Java(TM) SE Runtime Environment
sun.boot.library.path=/usr/jav
我的datanode不是在Hadoop2.7.3多节点中启动的(1个主节点,2个从节点)
以下是我的配置文件:
core-site.xml (在主和奴隶中)
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/app/hadoop/tmp</value>
<description>A base for other temporary directories.</description>
</propert
我的问题与Hive有关,我创建了一个将字符串日期转换为朱利安日期的UDF,它在执行select查询时运行良好,但在使用命令Create时抛出一个错误。
Create function convertToJulian as 'com.convertToJulian'
Using jar 'hdfs:/user/hive/'.
执行选择查询:
SELECT name, date FROM custTable
WHERE name is not null and convertToJulian(date) < convertToJulia
(to_dat
关于我的安装的一些细节:
Ubuntu 14.04 LTS 64位
Oracle 1.8.0_40
Hadoop 2.6.0
我一直按照的指示安装Hadoop。一切都很好,直到我必须格式化namenode为止。
当我运行$ hadoop namenode -format时,会得到以下错误:
DEPRECATED: Use of this script to execute hdfs command is deprecated.
Instead use the hdfs command for it.
15/04/12 19:01:02 INFO namenode.Name
我的风暴拓扑,从卡夫卡读取和写到hadoop正是失败后24小时!
我怀疑问题是,拓扑无法更新令牌/找不到要更新的键标签。请分享你的想法,并帮助我解决这个问题。
请查找用于配置hdfs螺栓的代码。
Config对象:
//building a 'map' with hdfs related configuration for key tab
Map<String, Object> hdfsSecConfigMap = new HashMap<String, Object>();
hdfsSecConfigMap.put("hdfs.keytab.f
我在ApacheHadoop2.7集群环境上独立运行Hbase 1.0.1。在Hbase上运行一个简单的地图减少作业时,我会遇到下面的问题。
Exception in thread "main" java.io.FileNotFoundException: File does not exist: hdfs://hdmaster:9000/usr/hadoop/share/hadoop/common/lib/zookeeper-3.4.6.jar
at org.apache.hadoop.hdfs.DistributedFileSystem$22.doCall(
问题:在用ALS示例启动oryx服务层时会得到以下异常:
SEVERE: Exception sending context initialized event to listener
instance of class com.cloudera.oryx.lambda.serving.ModelManagerListener
java.lang.NoSuchMethodError: kafka.admin.AdminUtils.topicExists(Lorg/I0Itec/zkclient/ZkClient;Ljava/lang/String;)Z
at com.cloudera.ory
我正在尝试使用apache-hadoop 3.2.1多部分上传器API将多部分上传到hdfs。Here is the error I see [dispatcherServlet]: Servlet.service() for servlet [dispatcherServlet] in context with path [] threw exception [Request processing failed; nested exception is java.lang.IllegalArgumentException: Pathname aGRmczovL2xvY2FsaG9zdDo5M