我正在尝试确定一种解决方案，使用火花流从HBASE表中读取数据，并将数据写入另一个HBASE表。例如，如果我有一个HBASE表'SAMPLE‘，它的列是'name’和'activeSta
浏览 0提问于2018-12-11得票数 0
我正在遵循spark hbase连接器基本示例来读取spark2 shell版本2.2.0中的HBase表。看起来代码正在工作，但是当我运行df.show()命令时，我看不到任何结果，而且它似乎永远都在运行。import org.apache.spark.sql.{ DataFrame, Row, SQLContext }
import org.apache.spark.sql.execution.datasources.hb
浏览 25提问于2019-04-25得票数 1
2回答
我们的堆栈是由Google (Spark2.0)和Google BigTable (HBase 1.2.0)组成的，我正在寻找一个与这些版本一起工作的连接器。Spark2.0和新的DataSet API支持对于我发现的连接器还不清楚：
hortonworks-spark/shc：
浏览 4提问于2016-12-01得票数 12
回答已采纳
1回答
在此CDP7中，我将数据存储到CDP7中的pyspark的hbase表中，在此之后，使用的组件如下：
spark3-submit --packages com.hortonworks:shc-core:1.1.1-2.1-s_2.11 --repositories http://repo.hortonworks.com/
浏览 0提问于2021-08-02得票数 0
1回答
我有一个代码，它可以将Pyspark流数据转换为dataframe。我需要把这些数据存储到Hbase中。另外，帮助我编写代码。===" % str(time))
words = rdd.map(lambda line :line.split(" ")).collect() linesDataFrame = spa
浏览 0提问于2018-11-29得票数 0
回答已采纳
在一个有Spark任务的Scala项目中，我使用了Spark-Hbase连接器(SHC)来连接从Hbase数据读取。请求的数量非常大，我正在尝试使用缓存的数据一段时间。我想知道我是否能做到这一点。
浏览 17提问于2019-09-28得票数 0
我在Spark2中使用pyspark，是否有任何jars将HBase与可用的pyspark连接。
请帮我拿一下样本代码。
浏览 2提问于2018-01-12得票数 1
回答已采纳
1回答
我正在使用Spark连接到Hbase。我已经添加了所有的依赖项，但是我仍然得到了这个异常。请帮助我，我需要添加哪个JAR来解决这个问题。Spark session available as 'spark'.{SQLContext, _} import org.apache.spark.{SparkConf, SparkContext
浏览 2提问于2018-09-17得票数 0
我想从一个Hbase表读取数据使用get命令，同时我也有行的关键字。我想在我的星火流应用程序中做到这一点，有没有任何源代码可以分享？
浏览 1提问于2016-11-17得票数 0
我正在使用pyspark通过shc访问hbase的表。这个表有大量的记录，但是我的spark集群只有三台服务器，性能很差。我认为从hbase表中读取全部数据，然后用spark的过滤器处理它是不合理的，那么我如何使用pyspark和shc从hbase中读取部分数据呢？('localhost').appName('test_1').getOrCr
浏览 1提问于2019-07-20得票数 0
我正在尝试将pyspark数据帧写入Hbase。面对下面的错误。我的集群上的Spark和Hbase版本是：Spark提交
spark-submit --jars /tmp/hbase-spark-1.0.0.jar --packages com.hortonworks:shc-core:1.1.1-2.1-s_2
浏览 1提问于2020-03-30得票数 0
1回答
我正在尝试使用读取HBase表。示例代码：conf.set("hbase.zookeeper.quorum", "localhost")我看到了下面的Spark连接器，但是
浏览 0提问于2016-10-17得票数 1
回答已采纳
4回答
下面的代码将从hbase中读取，然后将其转换为json结构并转换为schemaRDD，但问题是，我是using List来存储json字符串，然后传递给javaRDD，对于大约100 GB的数据，主服务器将装载内存中的数据从hbase加载数据的正确方法是什么，然后执行操作，然后转换为JavaRDD。;import org.apache.sp
浏览 9提问于2014-07-30得票数 47
回答已采纳
1回答
我们有数据存在于HBase中，我们想要转移到AWS Aurora (MySQL)，我们需要使用现有的数据，所以必须以某种方式将NoSQL数据加载到Aurora中。 它不是一个非常大的数据库。有没有将数据从NoSQL迁移到关系数据库的最佳实践/工具？我在互联网上看到了很多反向问题(DB -> NoSQL)，但我的要求有点不同，我找不到任何有用的信息。 有人能帮帮忙吗？我该从哪里开始呢？
浏览 71提问于2020-03-31得票数 0
0回答
spark通过hortonworks的开源框架shc读取hbase的时候，需要定义schema,当HBase中的表是高表，只有一列数据，上千万行，如何定义schema？？
浏览 298提问于2019-11-11
1回答
巨大的插入到HBase
、、、、
当我试图向HBase插入数据时，我遇到了一个问题。我有一个1200万行星火DataFrame，有两个字段：* MATCH, a boolean ("1" or "0")df.write .format(
浏览 1提问于2016-06-22得票数 1
回答已采纳
因此，我需要按照所需的列值对hbase行进行排序。我不明白我该怎么做，甚至是做不到。看来hbase并不能很好地满足这一需求。此外，它也不允许任何这样的功能开箱即用。Q2.还有更好的方法吗？，Q3，，它在hbase中是可撤销的吗？我应该选择完全不同的框架/技术吗？
浏览 0提问于2018-04-27得票数 2
回答已采纳
1回答
我正在写一个简单的火花程序从Phoenix读取和写入Hbase使用spark -Hbase-连接器。我成功地分别从Phoenix读取和使用SHC写入Hbase。但是，当我将所有东西放在一起(具体添加hbase-spark依赖项)时，管道在Phoenix read语句处中断。代码：import org.apache.spark.sql.
浏览 136提问于2020-05-19得票数 0
1回答
我在hbase有一张桌子。我和phoenix一起创建的df.write().options(options).format("org.apache.spark.sql.execution.datasources.hbase").save();
在hbase shell模式下，我可以看到我的
浏览 20提问于2018-01-23得票数 0
1回答
我使用的是火花火花2.3.1和Hbase 1.2.1，我想知道怎样才能最好地使用pyspark访问Hbase？def main(): sqlc = SQLContext(sc)
data_source_format = 'org.apache.spark.sql.execution.datasources.hbase--master yarn-client --files /opt/hbase-1.1.2
浏览 1提问于2019-02-22得票数 1
回答已采纳
云服务器
ICP备案
实时音视频
即时通信 IM
云直播
腾讯云开发者
