有没有可能在不使用Hive或Phoenix或Hortonworks提供的spark-Hbase连接器的情况下直接以Pyspark Dataframes的形式读取Hbase表？我对Hbase比较陌生，找不到一个直接的Python示例来将Hbase表转换为Pyspark数据帧。我看到的大多数示例都是用Scala或Java编写的。
浏览 2提问于2017-10-05得票数 1
我通过phoenix (4.11) queryserver从Spark 2.2.0连接到hbase (1.2版)，但数据帧返回了唯一的表结构，其中包含空行，尽管表中存在数据。// ---jar ----phoenix-4.11.0-HBase-1.2-thin-client.jar<br>prop.setProperty("driver&
浏览 0提问于2017-10-13得票数 1
我正在尝试通过spark HBase连接器加载SQL表。configuration.get(ZOOKEEPER_CLIENT_PORT, "2181")}" val zkUrl = s"${configuration.get(ZOOKEEPER_QUORUM, "l
浏览 31提问于2020-07-15得票数 1
我想从一个Hbase表读取数据使用get命令，同时我也有行的关键字。我想在我的星火流应用程序中做到这一点，有没有任何源代码可以分享？
浏览 1提问于2016-11-17得票数 0
1回答
我正在写一个简单的火花程序从Phoenix读取和写入Hbase使用spark -Hbase-连接器。我成功地分别从Phoenix读取和使用SHC写入Hbase。但是，当我将所有东西放在一起(具体添加hbase-spark依赖项)时，管道在Phoenix read语句处中断。代码：import org.apache.<
浏览 136提问于2020-05-19得票数 0
我通过以下代码使用pyspark连接和摄取数据到phoenix表 dataframe.write.format("org.apache.phoenix.spark").mode("overwrite").option("table"，"tablename").option("zkUrl"，"localhost:2181").save() 当我在spark submit中运行它时，它<em
浏览 37提问于2019-02-11得票数 0
1回答
我无法连接到凤凰(4.10)通过星火(2.1.0)的基础上“加载作为一个DataFrame使用数据源API”的例子凤凰网站。我使用的是lastet (凤凰4.10)和Hbase 1.2.5。我可以通过菲尼克斯(sqlline客户端)在Hbase中创建一个表。org.apache.hadoop.hbase.procedure2.ProcedureExecutor$2.run(ProcedureExecutor.java:497)
更新1：如果通过HBase</em
浏览 1提问于2017-04-26得票数 1
回答已采纳
2回答
我正在尝试使用Phoenix连接器从PySpark读取和写入HBase。我已经看到中的示例代码复制了此处的示例代码，以便于参考： .format("org.apache.phoenix.spark") \ .option("table", "TABLE1") \
.option("zkUrl", "localhost:2
浏览 5提问于2018-01-06得票数 0
我们有一个cdap应用程序连接到凤凰表从火花使用菲尼克斯驱动程序。我在我们的环境中有phoenix 4.7版。根据标准的spark2 phoenix连接，它只需要phoenix-spark2作为依赖项，所有其他依赖项都将从类路径和hbase-site.xml属性中选取。现在，cdap spark phoenix应用程序需要哪些依赖项，以及如何将hbase-site.xml与cadp应用程序一起使用以建立成功的连接。
浏览 14提问于2020-02-02得票数 0
1回答
我在hbase有一张桌子。我和phoenix一起创建的df.write().options(options).format("org.apache.spark.sql.execution.datasources.hbase").save();
在hbase shell模式下，我可以看到我的
浏览 20提问于2018-01-23得票数 0
我已经转换了我的图像并以字节的形式存储在HBase上。现在我想要SpotFire从hbase读取图像(作为字节)并显示它。我知道我可以使用Phoenix连接器从SpotFire连接到HBase，但如何在SpotFire中渲染图像(在HBase中存储为字节)？
浏览 1提问于2017-05-08得票数 2
我正在尝试确定一种解决方案，使用火花流从HBASE表中读取数据，并将数据写入另一个HBASE表。例如，如果我有一个HBASE表'SAMPLE‘，它的列是'name’和'activeStatus‘。如何使用spark streaming从基于activeStatus列的表SAMPLE中检索数据(新数据？
欢迎使用spark
浏览 0提问于2018-12-11得票数 0
我写了下面的代码来将spark数据帧保存到phonenix：使用spark 1.6.0。但是，作业失败，出现以下错误：
org
浏览 1提问于2017-02-18得票数 1
很抱歉这个问题，因为这个问题已经提出了无数次，但我仍然无法找到解决我的问题后，通过每个相关的帖子。我在HDP 2.4.2上的Kerberos env上使用Spark Streaming (1.6.1)和Phoenix (4.4)，在尝试从HBase读取或写入时遇到异常。phoenix/phoenix-4.4.0.2.4.2.0-258-client-spark.jar \
--driver-java-options "-Djava.security.
浏览 2提问于2016-12-05得票数 0
作为与星火、菲尼克斯和HBase合作的新手，是一个尝试的例子，如和所列。scala> val rdd = sc.phoenixTableAsRDD("us_population"/jdbc/PhoenixDriver
at org.apache.phoenix.sp
浏览 1提问于2017-05-10得票数 0
2回答
我已经在多集群配置上安装了HBase 1.1.3，并希望通过它运行Apache凤凰。connect jdbc:phoenix:localhost none none org.apache.phoenix.jdbc.PhoenixDriver
Connecting to jdbc:phoenixSLF4J: Found binding in [jar:file:/usr/local/phoenix-4.7.0-HBase-1.1-bin&#x
浏览 3提问于2016-05-10得票数 0
我想从spark连接到apache phoenix并运行一个join sql查询。根据Phoenix官网的建议，他们给出了一个如何从spark连接到phoenix的示例，但在配置中使用了单个phoenix表名。ZOOKEEPER_URL);Dataset<Row> df = sparkSession.sqlContext().load(&qu
浏览 17提问于2018-01-19得票数 0
我正在运行一个submit命令，它将通过Scala类执行一些数据库工作。spark-submit --class mycompany.MyClass
--conf spark.driver.extraJavaOptions=-Dconfig.resource-SNAPSHOT.jar,/usr/lib/phoenix/phoenix-client-hbase-2.4-5.1.2.jar,/usr/lib
浏览 7提问于2022-05-11得票数 0
2回答
我试着用火花放电从hbase上读出来。hbase版本: HBase 1.2.0-cdh5.16.2
我下载了它并运行了代码：spark = ( .appName(app_name)
浏览 0提问于2020-07-01得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
