我使用Phoenix在Hbase中创建了以下表格。upsert into test_Table(test_date) values('2013-11-30');我使用以下代码来读取所有数据，但不确定如何从字节读取数据。org.apache.
浏览 29提问于2017-05-10得票数 0
2回答
我想使用JAVA通过Spark访问HBase。除此之外，我还没有找到任何这样的例子。 这个 一个。答案是这样写的： 您也可以用Java编写以下代码 我从 如何使用spark读取hbase ： import org.apache.hadoop.hbase.client.import org.apache.hadoop.hbase.io.ImmutableBytesWritable
import o
浏览 69提问于2017-02-21得票数 1
1回答
这些计算是用Python进行的，我使用PySpark来读取和预处理数据。我的任务的输入数据存储在HBase中。不幸的是，我还没有找到一种令人满意的(即易于使用和可伸缩的)方法来使用Python从/写入HBase数据。
使用happybase从我的Python进程中进行连接。这个包允许通过使用HBase的HBase</em
浏览 4提问于2016-07-19得票数 15
回答已采纳
我正在尝试确定一种解决方案，使用火花流从HBASE表中读取数据，并将数据写入另一个HBASE表。例如，如果我有一个HBASE表'SAMPLE‘，它的列是
浏览 0提问于2018-12-11得票数 0
2回答
将Kafka中的流数据“导入”到HBase中的最佳实践是什么？
使用案例如下:将车辆传感器数据流式传输到Kafka。然后，必须对这些传感器数据进行转换(即，将protobuf反序列化为人类可读的数据)，并将其存储在HBase中。1)您推荐哪个工具集(如Kafka --> Flume --> HBase、Kafka --> Storm --> HBase、Kafka -->
浏览 1提问于2015-08-18得票数 6
我有一个简单的spark任务，从Hive读取数据，从db2读取一些数据，进行一些计算并将结果放入db2中。在我尝试从db2读取数据的代码行中，我看到以下错误：
Exception in thread "main" java.util.ServiceConfigurationError: org.apache.spark.sql
浏览 0提问于2018-11-16得票数 0
有没有可能在不使用Hive或Phoenix或Hortonworks提供的spark-Hbase连接器的情况下直接以Pyspark Dataframes的形式读取Hbase表？我对Hbase比较陌生，找不到一个直接的Python示例来将Hbase表转换为Pyspark数据帧。我看到的大多数示例都是用Scala或Java编写的。
浏览 2提问于2017-10-05得票数 1
1回答
我正在尝试使用Spark从HBase读取数据。我使用的版本是Spark1.3.1和HBASE1.1.1。at org.apache.hadoop.hbase.TableName.valueOf(TableName.java:417)<init>(HTable.java:159)
浏览 2提问于2015-11-04得票数 0
回答已采纳
3回答
星火数据加入问题
、、
(读取CSV、读取Parquet和相互连接) df1=spark.read.format(阅读Hbase，阅读Parquet并相互连接)(差异是从Hbase读取)
//Reading from Hbase (It read from hbase
浏览 1提问于2019-03-10得票数 3
我有一个要求，要求在某些列中获取与top X(例如前10位)值相对应的行键。因此，我需要按照所需的列值对hbase行进行排序。我不明白我该怎么做，甚至是做不到。看来hbase并不能很好地满足这一需求。--我可以使用加载整个hbase数据并在其中执行排序吗？会很快吗？连接器和火花将如何处理它？它会在单个节点或多个节点上获取全部数据并以分布式方式排序吗？
Q2.还有更好的方法吗？，Q3，，它在hbase中是可撤销的吗？我应该选择完全不同的
浏览 0提问于2018-04-27得票数 2
回答已采纳
1回答
我正在写一个简单的火花程序从Phoenix读取和写入Hbase使用spark -Hbase-连接器。我成功地分别从Phoenix读取和使用SHC写入Hbase。但是，当我将所有东西放在一起(具体添加hbase-spark依赖项)时，管道在Phoenix read语句处中断。代码：import org
浏览 136提问于2020-05-19得票数 0
1回答
我正在运行简单的应用程序，以便使用java从HBase in Spark中获取数据。
运行火花-提交命令。bin/spark-submit --master spark://192.168.43.75:7077 --class com.scry.NLPAnnotationController --driver-class-path/usr/lib/hbase/<em
浏览 3提问于2016-10-06得票数 0
1回答
在Hbase数据迁移过程中，我遇到了一个java.lang.IllegalArgumentException: KeyValue size too large我需要将/etc/hbase/conf/hbase-site.xml中的属性/etc/hbase/conf/hbase-site.xml(从1048576增加到10485
浏览 2提问于2020-02-04得票数 1
回答已采纳
2回答
所以我的项目流程是Kafka -> Spark Streaming ->HBase现在我不知道如何使用Spark Streaming从HBase</
浏览 30提问于2016-07-25得票数 1
回答已采纳
2回答
我试着从PySpark的HBase中读取一个表格。
testdata_conf= {"hbase.zookeeper.quorum": host, "hbase.mapreduce.inputtable": &
浏览 1提问于2016-07-27得票数 1
1回答
我有一个用Scala编写的Apache应用程序，它尝试从HBase读取数据并使用它做一些事情。(RpcClientFactory.java:64) ... 39 more
我的
浏览 2提问于2016-03-10得票数 0
回答已采纳
2回答
我想知道是否有可能直接将数据从HDFS导入到Opentsdb。你能给我举一些例子/提示吗？(BaseExpression.java:64) at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:84)
浏览 0提问于2015-04-17得票数 1
4回答
下面的代码将从hbase中读取，然后将其转换为json结构并转换为schemaRDD，但问题是，我是using List来存储json字符串，然后传递给javaRDD，对于大约100 GB的数据，主服务器将装载内存中的数据从hbase加载数据的正确方法是什么，然后执行操作，然后转换为JavaRDD。package hbase_reader;
import java.io.IOException;
浏览 9提问于2014-07-30得票数 47
回答已采纳
1回答
我尝试从HDFS中的文件中聚合数据。我需要添加一些细节，从这些数据的价值在hbase中的一个特定表。at java.lang.reflect.Method.invoke(Method.java:497)
at org.apache.spark.deploy.SparkSubmit$.org$apache我的问题是:如何使用hbase表中包含的值来完成我的RDDs。例如: h
浏览 11提问于2017-02-02得票数 2
回答已采纳
2回答
我试图在Hbase中从Spark创建一个表，并插入数据，从中读取数据。 val sc = new SparkContext("local", "Hbase spark")
v
浏览 0提问于2016-06-16得票数 1
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
