1回答
如何从pyspark连接到hbase
python、apache-spark、hbase、pyspark
我在azure中有两个集群，一个用于spark 2.0，另一个用于hbase。我可以完美地填充和使用hbase，现在我想将spark连接到hbase并进行一些计算。spark -> hive -> hbase还是spark直接到hbase？谢谢?
浏览 0提问于2016-11-10得票数 0
2回答
如何使用scala使用spark streaming从HBASE表中获取数据
scala、apache-spark、hbase、spark-streaming
我正在尝试确定一种解决方案，使用火花流从HBASE表中读取数据，并将数据写入另一个HBASE表。例如，如果我有一个HBASE表'SAMPLE‘，它的列是'name’和'activeStatus‘。如何使用spark streaming从基于activeStatus列的表SAMPLE中检索数据(新数据？
欢迎使用spark
浏览 0提问于2018-12-11得票数 0
2回答
在哪个版本的HBase中集成了spark API？
apache-spark、hbase
我阅读了spark和hbase的文档：
我很困惑，为什么apidocs和HBase版本不匹配？我的目标是使用Spark和HBase (bulkGet，bulkPut..etc)。我如何知道这些函数是在哪个HBase版本中实现的？
如果有人有关于这方面的补充文档，那就太棒了。我在hbase-0.98.13-hadoop1上
浏览 5提问于2015-12-03得票数 5
4回答
无法使用Java连接到HBase
java、hbase、apache-spark
我正在尝试使用Java来连接HBase。只有一个节点，这是我自己的机器。好像连接不成功。IOException, ServiceException { at java.lang.reflect.Method.invoke(Method.java:606)
at org.apache.spa
浏览 0提问于2015-02-03得票数 0
1回答
如何在spark中配置hbase？
hbase、apache-spark
将spark连接到hbase有哪些步骤？
我有两个的主地址。我是否只是将hbase地址添加到spark类路径中？
浏览 4提问于2014-09-04得票数 5
回答已采纳
1回答
Spark、kerberos、纱线群集->连接到hbase
apache-spark、hbase、kerberos
我们正在尝试在yarn-cluster上运行一个流作业，它与Kafka (直接流)和hbase交互。
不知怎么的，我们无法在集群模式下连接到hbase。我们使用keytab登录hbase。" --conf spark.yarn.stagingDir=hdfs:///tmp/spark/ --files "job.properties,log4j_driver_conf.properties,log4j_executor
浏览 0提问于2017-05-25得票数 0
1回答
将hbase-site.xml指定为spark-submit
scala、apache-spark、hbase
我有一个spark作业(用Scala编写)，它从另一个服务器上发现的HBase表中检索数据。作业时，我使用spark-submit并指定所需的参数。com.sparksJob.MyMainClass myJarFile.jar "$@"configuration.set(&q
浏览 0提问于2016-09-14得票数 5
1回答
使用spark中的hadoop配置连接到Hbase
hadoop、apache-spark、hbase、apache-spark-sql、spark-dataframe
我正在尝试创建MapPartitionFunction的火花hbase连接。", "org.apache.spark.serializer.KryoSerializer"); Class.forName("com.databricks.spark.avro.DefaultSou
浏览 6提问于2016-08-31得票数 0
1回答
如何在Azure HDInsight的Spark集群中配置HBase？
azure、hadoop、apache-spark、hortonworks-data-platform、azure-hdinsight
我已经在Azure中创建了HDInsight的Spark集群。现在，我希望将处理后的数据存储到HBASE中，并且我不想创建单独的HBASE HDInsight集群并使用VNET连接到Spark集群。我已经并且想要在我的Spark集群中使用所有的60个内核。因此，我想到了在HDInsight的spark Cluster中安装HBASE。当我在HDInsight星火集群中创建时，似乎已经有一个HBASE实例在运行。但这不会显示在Azure
浏览 3提问于2017-04-18得票数 2
1回答
使用Spark连接到Hbase时出现异常
scala、maven、apache-spark、apache-spark-sql、hbase
我正在使用Spark连接到Hbase。我已经添加了所有的依赖项，但是我仍然得到了这个异常。请帮助我，我需要添加哪个JAR来解决这个问题。{SQLContext, _} import org.apache.spark.{SparkConf, SparkContext} impor
浏览 2提问于2018-09-17得票数 0
1回答
spark hbase连接器在连接时抛出异常
apache-spark、apache-spark-sql、hbase、spark-streaming
尝试根据Hbase提供的以下文档使用spark连接到Hbase。, spark.sparkContext.hadoopConfiguration)
spark</
浏览 14提问于2019-05-14得票数 0
1回答
HBase和试图写入表
python、apache-spark、hbase、pyspark
我尝试使用示例代码()将数据保存到Hbase表中，但我的工作失败了。我用的命令：--jars spark-examples-1.6.0.2.4.0.0-169-hadoop2.7.1.2.4.0.0-169.jar,\ex
浏览 5提问于2016-08-19得票数 0
回答已采纳
1回答
火花-hbase-连接器: ClusterId在ZooKeeper中读取为空
scala、apache-spark、hbase
我试图运行一个简单的程序，将rdd的内容复制到Hbase表中。我是使用火花-hbase-连接器由新阻尼器.我正在运行代码，在我的机器上的本地集群上使用spark submit。火花版本为2.1。{SparkConf, SparkContext}
def main" %% "spark-core" % "2.1.
浏览 0提问于2017-11-22得票数 3
回答已采纳
1回答
Spark Hbase连接器(SHC)未从HBase表返回任何数据
scala、apache-spark、hbase
我正在遵循spark hbase连接器基本示例来读取spark2 shell版本2.2.0中的HBase表。import org.apache.spark.sql.{ DataFrame, Row, SQLContext }
val sqlContext = new org.apache.spark.sql.SQLContext(sc)
浏览 25提问于2019-04-25得票数 1
1回答
丝上火花+固定hbase
apache-spark、hbase、kerberos、hadoop2、spark-structured-streaming
我提交了一个工作给纱线(在spark 2.1.1 + kafka 0.10.2.1)，它连接到一个安全的hbase集群。当我在“本地”模式(spark.master=local*)运行时，这个任务执行得很好。javax.security.auth.login.LoginException: Unable to obtain password from userUserGroupInformatio
浏览 14提问于2017-05-30得票数 6
1回答
火花/火花放电与HBase的集成
python、apache-spark、hadoop、pyspark、hbase
是否可以将Spark2.4.3连接到远程HBase 1.3.2服务器？read.py只是一个简单的测试读物：data_source_format='org.apache.spark.sql.execution.datasources.hbase'
catalog尽管我已经引用了
浏览 0提问于2019-09-04得票数 0
1回答
如何通过执行内部联接并将数据带入配置单元来从hbase表中检索数据
java、apache-spark、hive、hbase、spark-dataframe
我有两个Hbase表'hbaseTable'，'hbaseTable1‘和Hive表'hiveTable’，我的查询如下：我需要在hbase中执行内部联接，并将数据带到hive。因此，计划通过使用spark来改变方法。也就是说，如何使用SPARK</e
浏览 16提问于2017-02-02得票数 0
回答已采纳
1回答
Spark 2连接到HBase
apache-spark、hbase
// Dependencies, "org.apache.spark" %% "spark-sql" %"2.4.0"
, "org.apache.hbase" % "hbase-server" % "1
浏览 35提问于2020-01-08得票数 0
回答已采纳
2回答
Spark Streaming和Phoenix Kerberos问题
hadoop、hbase、spark-streaming、kerberos、phoenix
我在HDP 2.4.2上的Kerberos env上使用Spark Streaming (1.6.1)和Phoenix (4.4)，在尝试从HBase读取或写入时遇到异常。即使在从spark-submit中跳过key-ph.conf文件之后，我也得到了同样的问题。,/etc/hbase/2.4.2.0-258/0/hbase-site.xml \
--jars /usr/hdp/2.4.2.0-258/hba
浏览 2提问于2016-12-05得票数 0
1回答
用Java连接电子病历HBase
java、apache-spark、hbase、amazon-emr
我试图从一个运行在EMR5.35(Hadoop2.10，Spark2.4.8，HBase 1.4.13)上的火花程序中连接到HBase，而不是试图连接到HBase，我的Spark程序运行得很完美。/conf/hbase-site.xml"));<properties>
<spark.version>2.4.8</spark</
浏览 2提问于2022-06-10得票数 0
云服务器
ICP备案
对象存储
云点播
即时通信 IM
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号