无法使用Spark脚本将Spark数据集写入HBase

文章/答案/技术大牛

发布

2回答

apache-spark、nullpointerexception、hbase

我正在尝试使用Spark来写入HBase表。我正在使用来自link的HBase火花连接器的例子。我使用spark-shell调用启动以下命令 $ spark-shell --jars /opt/cloudera/parcels/CDH/jars/hbase-spark-2.1.0-cdh6.2.1toDS personDS.write.fo

浏览 19提问于2021-02-03得票数 1

回答已采纳

2回答

如何使用scala使用spark streaming从HBASE表中获取数据

scala、apache-spark、hbase、spark-streaming

我正在尝试确定一种解决方案，使用火花流从HBASE表中读取数据，并将数据写入另一个HBASE表。例如，如果我有一个HBASE表'SAMPLE‘，它的列是'name’和'activeStatus‘。如何使用spark

浏览 0提问于2018-12-11得票数 0

2回答

我正在尝试从命令行使用Spark - HBaseTest而不是run-example来运行spark示例代码，在这种情况下，我可以了解更多如何运行spark代码。但是，它告诉我关于htrace的CLASS_NOT_FOUND，因为我使用的是CDH5.4。我成功地找到了htrace jar文件，但我很难将其添加到path中。\--class org.apache.spark.examples.HBaseTest \ --driver-clas

浏览 1提问于2015-06-26得票数 1

1回答

HBase火花-与Spark2.0的连接

scala、apache-spark、hbase

一直试图使用Spark&Scala将数据写入HBase。需求是-我必须根据来自业务的列的时间戳为HBase记录设置TTL。将列的时间戳值转换为Epoch时间戳，并尝试在此基础上设置TT

浏览 1提问于2018-11-21得票数 3

1回答

错误:将pyspark dataframe写入Habse时

apache-spark、pyspark、hbase、pyspark-sql

我正在尝试将pyspark数据帧写入Hbase。面对下面的错误。我的集群上的Spark和Hbase版本是：Spark提交 spark-submit --jars /tmp/hbase-spark-1.0.0shc-core:1.1.1-2.1-s_2.11 --repositories http:&

浏览 1提问于2020-03-30得票数 0

2回答

集成Kafka和HBase的最佳实践

apache-spark、hbase、apache-kafka、apache-storm、flume

将Kafka中的流数据“导入”到HBase中的最佳实践是什么？使用案例如下:将车辆传感器数据流式传输到Kafka。然后，必须对这些传感器数据进行转换(即，将protobuf反序列化为人类可读的数据)，并将其存储在HBase中。1)您推荐哪个工具集(如Kafka --> Flume --> HBase、Kafka --> Storm --> HBas

浏览 1提问于2015-08-18得票数 6

1回答

Spark - Getting exception org.apache.spark.Logging未找到

apache-spark、cloudera、cloudera-cdh

我们正在使用Spark 2.3.0创建一个基于Spark的应用程序。我们的Spark作业与HBase交互。在创建JAR时，我们得到以下编译时异常异常: ERROR class file for org.apache.spark.Logging not found此异常发生在代码中，即从HBase表中读取数据使用下面的jar配置/版本，我们能够成功地将数据写入HBa

浏览 1提问于2018-09-21得票数 0

1回答

在pyspark中使用foreachRDD和foreach遍历rdd

python、apache-spark、pyspark

OS", "some_other_property": "value", "row_key": 555}(rowkey, [rowkey, column-family, key, value]) 正如您从输入格式中看到的，我必须获取原始数据集并迭代所有键，使用send函数调用发送每个键/值对。阅读spa

浏览 2提问于2016-05-28得票数 1

1回答

PySpark: saveAsNewAPIHadoopDataset()可以用作HBase的批量加载吗？

python、hadoop、apache-spark、hbase、bulkloader

我们目前使用saveAsNewAPIHadoopDataset()通过Spark RDDs (pyspark)将数据导入到HBase表中。此函数是否通过mapreduce使用HBase批量加载功能？换句话说，直接导入到HBase的saveAsNewAPIHadoopDataset()是否等同于使用saveAsNewAPIHadoopFile()将Hfiles写入HDFS，然后调用org.apach

浏览 5提问于2015-08-24得票数 3

1回答

如何使用中的hadoop office库将数据集写入excel文件

java、apache-spark、apache-spark-sql、spark-excel

目前，我使用com.crealytics.spark.excel读取Excel文件，但使用此库，无法将数据集写入Excel文件。这个说，使用hadoop库(org.zuinnote.spark.office.excel)，我们可以读写Excel文件请帮助我在spark .中将数据集对象写入excel文件。

浏览 5提问于2017-06-28得票数 4

回答已采纳

1回答

通过Spark将csv文件加载到HBase

scala、apache-spark、hbase、apache-spark-sql

这是一个简单的“如何”问题：：我们可以通过com.databricks.spark.csv将数据带到Spark环境中。我知道如何通过spark创建HBase表，并手动将数据写入HBase表。但是，这是否可能通过火花将文本/csv/jason文件直接加载到HBase？我看不见有人在谈论这件事。所以，只是检查一下。如果可能的话，请指导我到一个详细解释scala代码的

浏览 3提问于2017-04-06得票数 2

1回答

Hbase-cloudera中的Spark连接器问题: java.lang.AbstractMethodError

apache-spark-sql

我正在尝试将Spark数据帧写入Hbase，但当我在同一数据帧上执行任何操作或写入/保存方法时，它会给出以下异常： { atorg.apache.spark.Logging$class.log(Logging.scala:50) at org.apache.spark.sql.execution.datasources.hba

浏览 11提问于2019-02-21得票数 1

2回答

使用HBase写入PySpark表时出错

apache-spark、pyspark、apache-spark-sql、spark-dataframe、pyspark-sql

我正在尝试使用pySpark写入hbase表。到目前为止，我还能读到hbase的数据。但是当写入hbase表时会出现异常。" : "file:///etc/hbase/conf/hbase-site.xml",} spark

浏览 2提问于2017-10-25得票数 0

回答已采纳

1回答

如何使用Python连接HBase和Spark？

python、apache-spark、hbase、pyspark、apache-spark-sql

我有一个令人尴尬的并行任务，我使用星火分配计算。这些计算是用Python进行的，我使用PySpark来读取和预处理数据。我的任务的输入数据存储在HBase中。不幸的是，我还没有找到一种令人满意的(即易于使用和可伸缩的)方法来使用Python从/写入HBase数据。使用happybase从我的Python进程中进行连接。这个包允许通过使用

浏览 4提问于2016-07-19得票数 15

回答已采纳

1回答

Smark2.0-- Dataset<Row>用Java写Parquet

apache-spark、spark-dataframe

我想在Java中将数据集写入Parquet文件，我使用ds.write().parquet("data.parquet"); 此代码由火花提交命令运行-14.0.1.jar,hadoop-common-2.7.3.jar,hbase-client-1.3.0.jar,hbase-common-1.3.0.jar,hbase-protocol-1.3.0.jar,log4

浏览 0提问于2017-06-15得票数 0

1回答

Spark 2.3.0 SQL无法将数据插入到单元hbase表中

apache-spark、hive、apache-spark-sql、hbase

使用与hive2.2.0集成的Spark2.3 thriftserver。从火花直线跑。尝试将数据插入到单元hbase表(以hbase作为存储空间的单元表)。插入到蜂窝本机表是可以的。当插入到hbase表中时，它会抛出以下异常： org.apache.hadoop.hive.hbase.HiveHBaseTableOutputFormat不能转换为org.apache.hadoop.hive.ql.io.HiveOutputForm

浏览 2提问于2018-06-04得票数 2

1回答

火花python脚本不写入hbase

python、apache-spark、hbase

我正在尝试从这个运行脚本import json from pyspark.streaming import我尝试了三种不同的命令行选项，但没有一个生成输出，也没有将数据写入hbase表。下面是我尝试过的命令行选项 spark-submit --jars /usr/local/spark/lib/spark</em

浏览 6提问于2016-01-30得票数 2

回答已采纳

1回答

如何从R中的spark访问存储在hbase中的数据

r、apache-spark、hbase

我需要让存储在hbase中的数据在R中进行分析，但我需要通过Spark来完成，因为数据不适合内存。有人知道如何通过Spark in R访问hbase中的数据吗？我在网上都找过了，但是没有什么乐趣。我找到了一些页面，解释了如何从R访问hbase中的数据，但它们不是通过Spark来实现的。我看到的所有解释如何在R和Spark中访问数据的页面(使用sparklyr)都

浏览 0提问于2017-01-10得票数 0

1回答

无法将数据从Spark Scala Dataframe写入Hbase

scala、apache-spark、hbase

我无法使用自述文件中提到的示例写入Hbase。下面是一个简单的代码，它说明了我的方法和我遇到的错误 at org.apache.spark.sql.execution.datasources.hbase.HBaseRelation

浏览 10提问于2017-08-12得票数 0

回答已采纳

1回答

如何从HBase读取记录，然后存储到Spark* (弹性分布式数据集)；然后读取一个RDD记录，然后写入HBase？*

hadoop、apache-spark、hbase、bigdata

因此，我想编写一个代码，从Hadoop HBase读取一个记录，然后将它存储到Spark (弹性分布式数据集)中；然后读取一个RDD记录，然后写入HBase。我对这两种方法都一无所知，我需要使用AWS云或Hadoop虚拟机。请有人引导我从头开始。

浏览 1提问于2016-06-09得票数 1

回答已采纳

点击加载更多