spark从hbase读取数据，工人需要从远程驱动程序获取参数数据吗？
在Spark从HBase读取数据的过程中，工人不需要从远程驱动程序获取参数数据。Spark是一个分布式计算框架，它的工作节点（Worker）会从驱动程序获取任务和代码，但不需要直接获取参数数据。
在Spark中，驱动程序负责将任务分发给工作节点，并将代码发送给它们执行。而参数数据通常是存储在HBase中的，工作节点可以直接通过HBase的API或者Spark提供的HBase连接器来读取数据，而不需要从远程驱动程序获取。
Spark提供了与HBase集成的API，可以直接在Spark应用程序中使用HBase的数据源来读取数据。通过指定HBase表的名称、列族和过滤条件等参数，Spark可以从HBase中读取数据并进行进一步的处理和分析。
推荐的腾讯云相关产品是TencentDB for HBase，它是腾讯云提供的一种高性能、高可靠性的分布式NoSQL数据库服务，完全兼容HBase协议。您可以通过TencentDB for HBase来存储和管理大规模的结构化数据，并在Spark中使用TencentDB for HBase的数据源来读取数据。
更多关于TencentDB for HBase的信息和产品介绍，您可以访问腾讯云官方网站的以下链接： https://cloud.tencent.com/product/thbase
相关·内容
1回答
我是星火和HBase的新手。我正在处理HBase表的备份。这些备份位于S3桶中。我是通过spark(scala)这样使用newAPIHadoopFile来阅读它们的：
conf.set("io.serializations", "org.apache.hadoop.io.serializer.WritableSerialization,org.apache.hadoop.hbase.mapreduce.ResultSerialization")
val data = sc.newAPIHadoopFile(path,classOf[SequenceFileInp
浏览 3提问于2017-06-26得票数 0
回答已采纳
我需要让存储在hbase中的数据在R中进行分析，但我需要通过Spark来完成，因为数据不适合内存。有人知道如何通过Spark in R访问hbase中的数据吗？
我在网上都找过了，但是没有什么乐趣。我找到了一些页面，解释了如何从R访问hbase中的数据，但它们不是通过Spark来实现的。我看到的所有解释如何在R和Spark中访问数据的页面(使用sparklyr)都提供了iris数据集的示例:(
任何帮助都是非常感谢的！
浏览 0提问于2017-01-10得票数 0
1回答
我在星火节点和HBase节点之间经历了很高的延迟。当前的资源要求我在不同的服务器上运行HBase和Spark。
使用Snappy算法对HFiles进行压缩，将每个区域的数据大小从50 to减少到10 to。
然而，在有线上传输的数据总是被解压缩的，所以读取需要花费大量的时间--大约是每秒20 MB的，即每50 MB区域的大约45分钟。
我能做些什么使数据读取更快？(或者，对于HBase来说，当前的吞吐量是否很高？)
我想在本地将HBase HFiles克隆到火花机，而不是不断地从HBase请求数据。有可能吗？
解决这一问题的最佳做法是什么？
谢谢
浏览 2提问于2016-01-28得票数 2
我想我还没有完全理解星火是如何运作的。
这是我的设置：
我在独立模式下运行一个星火库集群。我用了四台机器:一台是大师，另外三台是工人。
我编写了一个从Cassandra集群读取数据的应用程序(请参阅)。
三个节点的Cassandra集群运行在同样承载火花工作节点的机器上。星火主节点不运行Cassandra节点：
Machine 1 Machine 2 Machine 3 Machine 4
Spark Master Spark Worker Spark Worker Spark Worker
Cassand
浏览 2提问于2015-11-24得票数 6
回答已采纳
我有一个关于spark的问题。如果我在spark驱动程序上定义了到远程服务器的长期套接字连接，我还可以使用该套接字与spark worker.How上的远程服务器通信。
例如，我在spark driver上定义了一个redis客户端，我也可以通过spakr worker上的redis客户端来读写数据。
val redisClient = Jedis.RedisClient(host, port)
rdd1.map(x => {
val value = redisClient.get(x)
value
})
也许redis并不是一个完全正确的例子。我想知道spark是否可以将我的长
浏览 16提问于2019-08-03得票数 0
spark如何将数据分发给工人？
workers是从数据源读取数据，还是由驱动程序读取数据并将其发送给workers？当一名员工需要另一名员工的数据时，他们是否直接通信？
谢谢!
浏览 0提问于2016-06-29得票数 5
我应该把菲尼克斯的数据读到pyspark里。
编辑:我使用的是火花HBase转换器：
下面是一个代码片段：
port="2181"
host="zookeperserver"
keyConv = "org.apache.spark.examples.pythonconverters.ImmutableBytesWritableToStringConverter"
valueConv = "org.apache.spark.examples.pythonconverters.HBaseResultToStringConverter"
浏览 5提问于2015-09-15得票数 0
我想知道当星火吞食数据时，数据是否被输入到驱动程序中并发送给工作人员，由Spark指示节点从文件系统读取数据？
我知道，在星火流中，有了Kafka源，很明显，工人节点从Kafka读取。然而，当从文件系统读取时，我不确定它究竟是如何工作的。
案例1
当读取文件系统时，假设文件系统是HDFS。
A.1 -驱动程序是读取文件并将数据传输给正在运行的工人，还是让工人读取文件？
A.2 -原来的分区是否取决于HDFS是如何划分的？
案例2
从文件系统(文件系统是本地的文件系统或S3系统)
B.1 -分区发生了什么变化，算法是改变我们从HDFS读取还是从本地文件系统读取？(在后一种情况下，将使用
浏览 0提问于2017-08-07得票数 1
回答已采纳
3回答
我知道HBASE是一个柱状数据库，它将表的结构化数据按列而不是按行存储到HDFS中。我知道Spark可以从HDFS读/写，还有一些用于Spark的HBASE连接器现在也可以读写HBASE表。
问题：
1)在HBASE之上分层火花而不是单独使用HBASE所带来的附加功能是什么？它只取决于程序员的能力，或者有任何性能原因来这样做？是否有星火所能做的事，而HBASE却无法做到？
2)源于前面的问题，什么时候应该在HDFS和SPARK之间添加HBASE，而不是直接使用HDFS？
浏览 4提问于2016-08-13得票数 9
回答已采纳
我正在尝试确定一种解决方案，使用火花流从HBASE表中读取数据，并将数据写入另一个HBASE表。
我在互联网上找到了许多示例，它们要求创建一个DSTREAM来从HDFS文件和all.But中获取数据。我找不到任何示例来从HBASE表中获取数据。
例如，如果我有一个HBASE表'SAMPLE‘，它的列是'name’和'activeStatus‘。如何使用spark streaming从基于activeStatus列的表SAMPLE中检索数据(新数据？
欢迎使用spark streaming从HBASE表检索数据的任何示例。
致敬，Adarsh K S
浏览 0提问于2018-12-11得票数 0
当我运行sparkSql作业时，它发生在我身上，但是当我稍后运行它时，它起作用了，我不知道它发生了，因为它发生了again.if你有任何想法，请帮助我~~
at org.apache.hadoop.hbase.HBaseConfiguration.checkDefaultsVersion(HBaseConfiguration.java:71)
at org.apache.hadoop.hbase.HBaseConfiguration.addHbaseResources(HBaseConfiguration.java:81)
at org.apache.hadoop.hb
浏览 0提问于2020-11-02得票数 0
目前，我正在使用Hbase Java提取图像特征并将其存储到OpenCV表中。但是我得到了一个问题，图像的图像特征在OpenCV中是Mat或MatOfKeyPoint类型的，而如果我们想要将数据插入到Hbase表中，那么我们必须使用byte[]。
......
featureDetector.detect(trainImages, trainKeypoints);
descriptorExtractor.compute(trainImages, trainKeypoints, trainDescriptors);
//Save to Hbase
Put put = new Put(key.ge
浏览 0提问于2015-07-15得票数 0
我正在尝试将SparkStreaming与HBase集成。我正在调用以下API来连接HBase：
HConnection hbaseConnection = HConnectionManager.createConnection(conf);
hBaseTable = hbaseConnection.getTable(hbaseTable);
因为我不能获得连接并广播连接，所以每次从HBase获取数据的API调用都非常昂贵。我尝试使用cdh5.5中的hbase-spark库来使用JavaHBaseContext (JavaHBaseContext hbaseContext = new Java
浏览 0提问于2016-03-09得票数 1
2回答
与JDBC结合使用
、、、、
我在做什么？
我希望使用Flask构建一个API服务，从一个数据库中提取数据，进行一些数据分析，然后将新数据加载到一个单独的DB中。
怎么了？
如果我单独运行Spark，我可以访问数据库，执行分析并加载到db。但是，在Flask应用程序(api路由)中使用它们时，相同的函数不能工作。
我怎么做的？
首先，我启动了火花大师和工人。我可以看到，我有一个工人在localhost:8080下的主人。
export JAVA_HOME=$(/usr/libexec/java_home -v 1.8)
../sbin/start-master.sh
../sbin/start-slave.sh spar
浏览 2提问于2019-01-16得票数 2
回答已采纳
1回答
我在表单或Array[Row]中有一个HBase行键的列表，并希望从使用这些RowKeys从HBase获取的行中创建一个Spark DataFrame。 我在想像这样的东西： def getDataFrameFromList(spark: SparkSession, rList : Array[Row]): DataFrame = {
val conf = HBaseConfiguration.create()
val mlRows : List[RDD[String]] = new ArrayList[RDD[String]]
conf.set("hbase.zoo
浏览 15提问于2019-10-02得票数 1
回答已采纳
我是Spark和Scala的新手。我们有广告事件日志文件格式为CSV的，然后使用pkzip压缩。我见过很多关于如何使用Java解压压缩文件的例子，但是我该如何使用Scala for Spark来解压呢？最终，我们希望从每个传入文件中获取、提取数据并将其加载到Hbase目标表中。也许这可以用HadoopRDD来完成？在此之后，我们将引入Spark streaming来查看这些文件。
谢谢，本
浏览 1提问于2014-02-19得票数 5
我使用的是spark 1.2.1 hadoop 2.3.0-cdh5.0.2 hbase 0.96.1.1-cdh5.0.2
当我运行spark app时，它总是显示下面的异常。实际上，我有org.apache.hbase hbase-protocol和protobuf-java2.5.0已经被构建来触发汇编jar。
spark.SparkException: Job aborted due to stage failure: Task 0 in stage 0.0 failed 4 times, most recent failure: Lost task 0.3 in stage 0.0
浏览 4提问于2015-03-09得票数 0
问题：，我想通过SparkSQL JDBC接口查询存储在Hive中的表。并希望获取超过1,000,000行。但遇到了OOM。sql = "select * from TEMP_ADMIN_150601_000001 limit XXX ";
My：5节点=一个主+4工作人员，1000 M网络交换机，每个节点的Redhat 6.5 : 8G RAM，500 g硬盘Java1.6，Scala2.10.4，Hadoop2.6，Spark1.3.0，Hive0.13
数据：表，用户和那里的电费数据。大约1600,000行。大约28每一行约占18字节。2栏：user_id String,
浏览 1提问于2015-06-10得票数 1
1回答
我可以通过HBASE项目提供的JAVA读写HBASE中的数据。但这样的读取操作将在火花驱动程序中进行处理，这似乎不是一种聪明的方法。是否有火花方式从HBASE读取数据，以便在不同的工人中完成阅读操作，以提高绩效？
浏览 3提问于2017-07-13得票数 0
回答已采纳
Spark 1.6.1，pyspark的问题
我收到的流媒体数据就像
{"event":4,"Userid":12345,"time":123456789,"device_model":"iPhone OS", "some_other_property": "value", "row_key": 555}
我有一个名为writeToHBase( rdd )的写入HBase的函数，期望得到一个具有以下结构的元组的rdd：
(rowkey, [rowkey, column
浏览 2提问于2016-05-28得票数 1
1回答
我在三个节点上安装了hbase。我正在尝试加载hbase通过火花与以下代码的帮助。
from __future__ import print_function
import sys
from pyspark import SparkContext
import json
if __name__ == "__main__":
print ("*******************************")
sc = SparkContext(appName="HBaseOutputFormat")
host = sys
浏览 17提问于2017-07-09得票数 0
我使用Phoenix在Hbase中创建了以下表格。
CREATE TABLE test_Table
( test_date date not null,
CONSTRAINT PK_test PRIMARY KEY (test_date)
);
然后使用下面的命令将一条记录插入到同一记录中。
upsert into test_Table(test_date) values('2013-11-30');
我可以从Hbase读取字符串，整型，浮点型和双精度数据类型值。Hbase客户端API，但不是日期类型。
我使用以下代码来读取所有数据，但不确定如何从字节读取数据。
imp
浏览 29提问于2017-05-10得票数 0
我写了下面的代码来将spark数据帧保存到phonenix：
phoenix_df.write.format("org.apache.phoenix.spark").mode(SaveMode.Overwrite).options(Map("table"->"TEST"，"zkUrl"->"defabc10d")).save()
使用spark 1.6.0。
但是，作业失败，出现以下错误：
org.apache.hadoop.hbase.HTableDescriptor.setValue(Ljava/l
浏览 1提问于2017-02-18得票数 1
1回答
我知道要创建一个RDD，我们有两种方法：
将驱动程序program.Referencing数据中的现有集合从诸如HDFS、HBase等外部存储系统中分离出来的Par等位化。
但是，我想知道从数据湖(如Azure DataLakeStorageGener2，ADLS Gen 2)读取数据时会发生什么。例如，如果我有以下命令：
df = spark.read.csv("path to ADLS Gen 2").rdd
我想知道这些数据是如何读取的；它是否被写入驱动程序？还是直接进入工作节点？
那么，如果我们在Dataframe或RDD上应用了一些转换，那么处理在哪里进行呢？只有将数
浏览 3提问于2019-10-16得票数 1
回答已采纳
我启动了一个Python火花程序，如下所示：
/usr/lib/spark/bin/spark-submit \
--master yarn \
--executor-memory 2g \
--driver-memory 2g \
--num-executors 2 --executor-cores 4 \
my_spark_program.py
我知道错误：
所需的执行器内存(2048+4096 MB)高于该集群的最大阈值(5760 MB)！请检查‘yarn.调度器.最大值-分配-mb’和/或‘yarn.nodemager.Resoure.Memory-mb’的值
浏览 0提问于2016-08-12得票数 2
我有一个Spark集群设置，有一个主节点和3个工作节点。我还在CentOS虚拟机上安装了Spark。我正在尝试从我的本地VM运行一个Spark shell，它将连接到master，并允许我执行简单的Scala代码。所以，下面是我在本地VM上运行的命令：
bin/spark-shell --master spark://spark01:7077
shell运行到我可以输入Scala代码的程度。它说executors已经被授予(x3 -每个worker一个)。如果我看一下Master的UI，我可以看到一个正在运行的应用程序，Spark shell。所有工作进程都是活动的，使用了2/2个内核，并且已
浏览 26提问于2014-10-31得票数 21
我正在尝试使用Spark流将数据从HDFS加载到Hbase表。我将数据放在HDFS目录运行时，并使用textFileStream函数读取数据。由于spark在类路径中没有hbase jars，所以即使在火花外壳中导入Hbase jars时也会给我一个错误。
scala> import org.apache.hadoop.hbase.mapred.TableOutputFormat
<console>:10: error: object hbase is not a member of package org.apache.hadoop
import org.ap
浏览 3提问于2014-11-02得票数 5
我想使用scala示例创建我的第一个scala程序，该示例在Sparkd 1.4.1中提供。目标是连接到HBase并完成一些基本工作，例如计数行或扫描行。然而，当我试图执行程序时，我得到了一个错误。看来斯派克找不到HBaseConfiguration类。假设我们找到了我的项目HBaseTest2 /usr/local/Cellar/spark/programs/HBaseTest2的根路径。下面是一些例外的详细信息：
./src/main/scala/com/orange/spark/examples/HBaseTest2.scala
package com.orange.spark.exam
浏览 3提问于2015-08-18得票数 2
1回答
带有动态查找表的火花流
、、、
目前，我正在研究如何使用Spark流来接收类似日志文件的条目，并出于统计原因对它们进行一些计算。
现在可以从HBase和Hive访问HDFS上的数据集，这些数据集需要查找一些数据并进行转换，例如IP与机器名称和机器所有者之间的映射。
星星之火应用程序预计将在我们的集群中运行一天，一天一天，几个星期没有重新启动。然而，这些参考表每隔几个小时更新一次。
如果所使用的数据是稍微旧的，那么它是可以的，但是数据使用两个星期是不可以的。因此，我想知道如何在映射和减少阶段中查找数据以获得转换和丰富。我有几个主意。
广播变量可以在数据集中读取并有效地传递。但是，一旦设置了广播变量，就无法更改它，并且在驱动
浏览 1提问于2015-02-01得票数 10
我们可以通过使用CollectionAccumulatorInt来保存跨工人的状态信息吗？RDD是巨大的
下面是示例代码片段
var valueColl:CollectionAccumulator[Int] = spark.sparkContext.collectionAccumulator("myValue")
rdd.foreachPartition(p => {
val temp:java.util.List[Int] = valueColl.value
if (!temp.contains(p.value)) {
valueColl.add(p.va
浏览 9提问于2022-09-13得票数 1
我正在为我们的应用程序做HBase分析。我正在尝试插入从Spark到HBase的行。我每批插入700万条记录，并观察每个指标。
在查看Clouera Manager的HBase UI时，有一件有趣的事情给我留下了深刻的印象:即使我正在向HBase写入数据，我仍然可以看到读取和写入的峰值。我可以在HBase主UI中看到读写的请求。
HBase在写记录的时候会读任何东西吗？
浏览 0提问于2016-08-13得票数 0
如果我的服务器有50 If内存，那么Hbase使用的是40 If。当我运行Spark时，我将内存设置为--executor-memory 30G。那么Spark是否会从Hbase那里获取一些内存，因为只剩下10 grab了。另一个问题是，如果Spark只需要1 1GB内存，但我给了Spark 10G内存，Spark会占用10 1GB内存吗？
浏览 3提问于2016-02-19得票数 1
1回答
我正在写一个简单的火花程序从Phoenix读取和写入Hbase使用spark -Hbase-连接器。我成功地分别从Phoenix读取和使用SHC写入Hbase。但是，当我将所有东西放在一起(具体添加hbase-spark依赖项)时，管道在Phoenix read语句处中断。
代码：
import org.apache.spark.sql.SparkSession
import org.apache.spark.sql.datasources.hbase.HBaseTableCatalog
object SparkHbasePheonix {
def main(args: Array[St
浏览 136提问于2020-05-19得票数 0
我正在编写一个spark应用程序，它从Hive获取事务数据，并将它与HBase表中的位置数据连接起来。基本上，最终目标是能够通过将lat和long从HBase表连接到Hive的事务数据来判断事务发生在何处。但是，当我将连接的数据集转换为NullPointerException时，我一直得到DataFrame。
当我使用以下命令时会出现异常：
.toDF()
.createDataFrame()
.parallize(.toSeq)
起初，我认为有些列有一个空值，所以我使用.toString选项()来确保没有空值，但是当我调用上面的3个方法时，错误仍然会出现。
我还可以确认placeholder
浏览 0提问于2019-05-29得票数 1
回答已采纳
3回答
星火数据加入问题
、、
代码片段下面的工作得很好。(读取CSV、读取Parquet和相互连接)
//Reading csv file -- getting three columns: Number of records: 1
df1=spark.read.format("csv").load(filePath)
df2=spark.read.parquet(inputFilePath)
//Join with Another table : Number of records: 30 Million, total
columns: 15
df2.join(broadcast(df1), c
浏览 1提问于2019-03-10得票数 3
我在Spark / Scala REPL上尝试了一个简单的代码，得到了这个错误。如何解决这个问题。我想使用RDD.saveAsNewAPIHadoopDataset(conf)将RDD保存到HBase
import org.apache.hadoop.hbase.{HBaseConfiguration, HTableDescriptor}
import org.apache.hadoop.hbase.client.HBaseAdmin
import org.apache.hadoop.hbase.mapreduce.TableInputFormat
import org.apache.hado
浏览 1提问于2016-03-06得票数 2
1回答
我正在使用Spark连接到Hbase。我已经添加了所有的依赖项，但是我仍然得到了这个异常。请帮助我，我需要添加哪个JAR来解决这个问题。
SPARK_MAJOR_VERSION is set to 2, using Spark2
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/usr/hdp/2.6.5.0-292/spark2/jars/slf4j-log4j12
浏览 2提问于2018-09-17得票数 0
1回答
我需要使用SparkSQL从HBase中提取数据，并像SparkSQL一样在数据顶部进行查询。
我所做的事情如下：
创建Spark对象
创建HBase对象
编写JAVPairRDD来获取记录。
我的主要类代码如下：
import java.io.Serializable;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.client.Result;
import org.apache.hadoop.hbase.io.ImmutableBytesWritable;
imp
浏览 2提问于2017-01-18得票数 0
我想在星火流代码中读取HBase数据，以便查找和进一步增强流数据。我正在使用spark-hbase-connector_2.10-1.0.3.jar。
在我的代码中，下面一行是成功的
val docRdd =
sc.hbaseTable[(Option[String], Option[String])]("hbase_customer_profile")
.select("id","gender").inColumnFamily("data")
docRdd.count返回正确的计数。
docRdd是类型的
HBa
浏览 3提问于2016-08-02得票数 1
回答已采纳
我正在运行一个submit命令，它将通过Scala类执行一些数据库工作。
spark-submit
--verbose
--class mycompany.MyClass
--conf spark.driver.extraJavaOptions=-Dconfig.resource=dev-test.conf
--conf spark.executor.extraJavaOptions=-Dconfig.resource=dev-test.conf
--master yarn
--driver-library-path /usr/lib/hadoop-lzo/lib/native/
浏览 7提问于2022-05-11得票数 0
2回答
我正在尝试使用从Spark读取来自kerberized实例的数据。我的集群配置本质上类似于：我将客户端计算机上的星火作业提交给远程spark独立集群，该作业试图从单独的HBASE集群中读取数据。
如果我通过直接在我的客户端上运行带有master=local*的Spark集群来绕过独立集群，只要我第一次从客户端启动，就可以访问远程HBASE集群。但是，当我将我的主服务器设置为远程集群时，所有其他的信任都是相同的，我在org.apache.hadoop.hbase.security.UserProvider.instantiate(UserProvider.java:43)接收一个空指针异常(下面
浏览 8提问于2016-08-22得票数 0
1回答
我正在尝试编写一个批处理作业，以处理目前位于HBase数据库(AWS中的EMR集群中)中的数百兆字节，所有这些数据都位于一个大表中。对于我正在处理的每一行，我需要从第二个HBase表中的查找表(一个简单的整数到字符串映射)获得额外的数据。我们每排要查5-10次。
我的当前实现使用了一个Spark作业，该作业将输入表的分区分发给它的工作人员，其形状如下：
Configuration hBaseConfig = newHBaseConfig();
hBaseConfig.set(TableInputFormat.SCAN, convertScanToString(scan));
hBaseConf
浏览 0提问于2019-07-28得票数 3
回答已采纳
我有一个CDH为5.8.4的集群。我运行在一个spark streaming应用程序中，它通过使用cloudera spark-hbase连接器，即HBaseContext，从HBase读写数据。当我启动应用程序时，我将主体和kinit提供给spark-submit脚本。我发现应用程序在7天后崩溃，并显示与HBase上下文相关的票证kerberos过期错误。下面是executors日志中的错误：
ERROR executor.Executor: Exception in task 0.0 in stage 544265.0 (TID 1149098)
org.apache.hadoop.hba
浏览 0提问于2017-10-27得票数 1
当我试图在spark中连接蜂巢表(它是通过HbaseIntegration创建的)时，我遇到了错误。
我遵循的步骤：Hive表创建代码：
CREATE TABLE test.sample(id string,name string)
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' WITH
SERDEPROPERTIES ("hbase.columns.mapping" = ":key,details:name")
TBLPROPERTIES ("hba
浏览 1提问于2016-09-02得票数 2
我们试图在Spark中执行一个简单的Scala代码来从Hbase中检索数据。Hadoop环境启用了Kerberos，我们已经确保执行kinit。
调用Spark Shell的步骤：
MASTER=yarn-client
DRIVER_CLASSPATH="/opt/cloudera/parcels/CDH/lib/hbase/lib/*"
DRIVER_LIBRARY_PATH="/opt/cloudera/parcels/CDH/lib/hadoop/lib/native"
spark-shell --driver-class-path "$DRI
浏览 12提问于2016-02-11得票数 1
回答已采纳
我编写了一个Spark应用程序，它读取一些CSV文件(~5-10 GB)，转换数据并将数据转换为HFiles。数据从HDFS中读取并保存到HDFS中。
当我在yarn-client模式下运行应用程序时，一切似乎都很好。
但是，当我尝试将它作为yarn-cluster应用程序运行时，进程似乎没有在我的转换和准备保存的RDD上运行最终的saveAsNewAPIHadoopFile操作！
下面是我的Spark的快照，您可以看到所有其他的作业都被处理了：
以及相应的阶段：
这里是我的应用程序中调用saveAsNewAPIHadoopFile方法的最后一步：
JavaPairRDD&
浏览 9提问于2017-09-15得票数 1
回答已采纳
我有一个spark 1.2.1集群，它是以独立模式设置的，有一个主服务器和几个从服务器。然后，我让我的数据科学家享受集群的力量。
一切都很好。然而，我的数据科学家曾经提交的专用服务器--火花作业--已经逐渐填满了spark.local.dir。
考虑到这台机器位于集群之外，不是主程序，也不是工人/奴隶，我不认为本地的spark.local.dir是通过火花来使用的。(为什么呢？它只显示日志。)
我找不到详细说明这部分信息的好文件。有谁有主意吗？
浏览 5提问于2015-08-20得票数 2
回答已采纳
我正在使用pyspark通过shc访问hbase的表。这个表有大量的记录，但是我的spark集群只有三台服务器，性能很差。我认为从hbase表中读取全部数据，然后用spark的过滤器处理它是不合理的，那么我如何使用pyspark和shc从hbase中读取部分数据呢？例如，我希望筛选行键具有起始值、结束值或筛选列
这里有一个基本的write和read方法，谢谢
from pyspark.sql import SparkSession
spark = SparkSession.builder.master('localhost').appName('test_1')
浏览 1提问于2019-07-20得票数 0
我们正在使用Spark 2.3.0创建一个基于Spark的应用程序。我们的Spark作业与HBase交互。在创建JAR时，我们得到以下编译时异常异常: ERROR class file for org.apache.spark.Logging not found此异常发生在代码中，即从HBase表中读取数据。
使用下面的jar配置/版本，我们能够成功地将数据写入HBase表。
我们在pom.xml中使用以下配置
<property>
<org.apache.spark.version>2.3.0</org.apache.spark.version>
<
浏览 1提问于2018-09-21得票数 0
所以问题就在这个问题上。我想我不能正确理解重新划分的工作。在我看来，当我说somedataset.repartition(600)的时候，我希望所有的数据都会以相同的大小在所有的工作人员(比如说60名工人)中进行分割。
举个例子。我将有一大块数据加载在不平衡的文件中，比如说400个文件，其中20 %是2Gb大小，其他80%大约是1MB。我有加载这些数据的代码：
val source = sparkSession.read.format("com.databricks.spark.csv")
.option("header", "false")
浏览 0提问于2018-06-28得票数 6
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
