我们正在使用Spark 2.3.0创建一个基于Spark的应用程序。我们的Spark作业与HBase交互。在创建JAR时,我们得到以下编译时异常异常: ERROR class file for org.apache.spark.Logging not found此异常发生在代码中,即从HBase表中读取数据。
使用下面的jar配置/版本,我们能够成功地将数据写入HBase表。
我们在pom.xml中使用以下配置
<property>
<org.apache.spark.version>2.3.0</org.apache.spark.version>
<
我正在尝试使用从HBase获取数据。
import org.apache.spark.sql.execution.datasources.hbase._
错误是
object hbase is not a member of package org.apache.spark.sql.execution.datasources
在我的本地.m2存储库中已经存在.jar of org.apache.hbase.hbase-spark.我真的想知道这个包在哪里(我想在这个包中使用的对象是HBaseTableCatalog)
pom.xml的一部分是
<dependency>
<
我正在尝试使用Spark流将数据从HDFS加载到Hbase表。我将数据放在HDFS目录运行时,并使用textFileStream函数读取数据。由于spark在类路径中没有hbase jars,所以即使在火花外壳中导入Hbase jars时也会给我一个错误。
scala> import org.apache.hadoop.hbase.mapred.TableOutputFormat
<console>:10: error: object hbase is not a member of package org.apache.hadoop
import org.ap
我正试着写一个火花批次作业。我想把它包装到一个罐子,并使用它与火花提交。我的程序在shell中工作得很好,但是当我尝试使用submit运行它时,我会得到以下错误:
Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.$conforms()Lscala/Predef$$less$colon$less;
at HBaseBulkload$.saveAsHFile(ThereInLocationGivenTimeInterval.scala:103)
at HBaseBulkloa
Exception in thread "main" java.lang.RuntimeException: java.lang.NullPointerException
at org.apache.hadoop.hbase.client.RpcRetryingCaller.callWithoutRetries(RpcRetryingCaller.java:208)
at org.apache.hadoop.hbase.client.ClientScanner.call(ClientScanner.java:320)
at org.apache.hado
我正在使用Spark连接到Hbase。我已经添加了所有的依赖项,但是我仍然得到了这个异常。请帮助我,我需要添加哪个JAR来解决这个问题。
SPARK_MAJOR_VERSION is set to 2, using Spark2
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/usr/hdp/2.6.5.0-292/spark2/jars/slf4j-log4j12
以前有没有人见过这种异常?环顾四周,什么也找不到。
我在执行Increment时遇到了这个异常。很难准确地调试为什么会在特定的情况下发生这种情况,因为它只会在BufferedMutation操作的后期发生,在该操作中,会同时批处理许多增量。
我唯一的怀疑是,也许值的总和超过了max Integer?但我对此表示怀疑。
下面是堆栈跟踪的相关部分:
: 1 time, org.apache.hadoop.hbase.DoNotRetryIOException: Cell count of 1 but at index 0 no cell returned: row=c0f68942ce3b6545
当我试图以编程方式从spark/scala文件执行hbase操作时
观察我们刚刚从spark 1.6版本迁移到2.3版本,HBASE1.2版本在这两种情况下都是相同的。但是现在我们在做hbase分布式扫描操作时面临着这个问题。
获取误差
Exception in thread "main" org.apache.hadoop.hbase.DoNotRetryIOException: /0.0.0.0:60020 is unable to read call parameter from client ; java.lang.UnsupportedOperationExcepti
我正在尝试将Spark数据帧写入Hbase,但当我在同一数据帧上执行任何操作或写入/保存方法时,它会给出以下异常: {
java.lang.AbstractMethodError
at org.apache.spark.Logging$class.log(Logging.scala:50)
at org.apache.spark.sql.execution.datasources.hbase.HBaseFilter$.log(HBaseFilter.scala:121)
at org.apache.spark.sql.execution.dat
我想使用Spark SQL从HBase表中获取数据。但我在创建DataFrame时获得了classNotFoundException。以下是我的例外。
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/sql/types/NativeType
at org.apache.hadoop.hbase.spark.DefaultSource$$anonfun$generateSchemaMappingMap$1.apply(DefaultSource.scala:127)
我在试着把Spark Streaming和Hbase连接起来。我对我的代码真正做的就是使用这个,但是我得到了一个奇怪的运行时错误:
Exception in thread "streaming-job-executor-8" java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/HBaseConfiguration
at buri.sparkour.HBaseInteractor.<init>(HBaseInteractor.java:26)
at buri.sparkour.JavaCustomReceiv