腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
在
Spark
中
读取
CSV
文件
,
并
使用
创建
的
RDD
将其
插入
到
HBase
scala
、
apache-spark
、
hbase
、
classpath
、
urlclassloader
我可以
使用
Put方法
在
HBase
表
中
插入
数据。但是,现在我想从
CSV
文件
中
读取
数据并
将其
写入
HBase
表。(HadoopRDD.scala:356) at
浏览 18
提问于2020-04-23
得票数 0
回答已采纳
1
回答
Spark
:
使用
Scala
的
HBase
批量加载
scala
、
hadoop
、
apache-spark
、
hbase
我们有一个文本
文件
,每个
文件
有100K条记录,我们需要逐行
读取
文件
并
将其
值
插入
到
hbase
中
。
文件
以'|‘分隔。我们正在尝试
使用
HBase
批量加载
在
Spark
-Scala
中
实现这一点。我们遇到了这个建议批量加载
的
链接:
使用
以下语法
插入
到
单列族<e
浏览 11
提问于2018-01-17
得票数 0
1
回答
什么是与
Hbase
交互
的
最佳方式?
apache-spark
、
hadoop
、
pyspark
、
apache-spark-sql
、
hbase
我
使用
的
是火花火花2.3.1和
Hbase
1.2.1,我想知道怎样才能最好地
使用
pyspark访问
Hbase
?我进行了一些初始级别的搜索,发现很少有可用
的
选项,比如
使用
shc:1.1.1-2.1-s2.11.jar,这可以实现,但是无论我想找什么例子,大多数地方
的
代码都是用Scala编写
的
,或者示例也是基于scala我尝试
在
pyspark
中
实现基本代码: from pyspark import Sp
浏览 1
提问于2019-02-22
得票数 1
回答已采纳
3
回答
星火数据加入问题
scala
、
apache-spark
、
hbase
(
读取
CSV
、
读取
Parquet和相互连接) df1=
spark
.read.format(阅读
Hbase
,阅读Parquet
并
相互连接)(差异是从
Hbase
读取
) //Reading from
Hbase
(It read from
hb
浏览 1
提问于2019-03-10
得票数 3
1
回答
如何从
hbase
列
中
读取
日期、时间和时间戳
java
、
scala
、
hbase
我
使用
Phoenix
在
Hbase
中
创建
了以下表格。CREATE TABLE test_TableCONSTRAINT PK_test PRIMARY KEY (test_date)然后
使用
下面的命令将一条记录
插入
到
同一记录
中
upsert into test_Table(test_date) values('2013-11-30'); 我可以从
H
浏览 29
提问于2017-05-10
得票数 0
1
回答
Spark
支持gzip格式吗?
java
、
scala
、
mapreduce
、
gzip
、
apache-spark
对于大数据项目,我计划
使用
,它有一些很好
的
功能,比如重复工作负载
的
内存计算。它可以
在
本地
文件
上运行,也可以
在
HDFS上运行。有没有办法手动实现gzipped
文件
的
读取</e
浏览 1
提问于2013-04-30
得票数 46
回答已采纳
2
回答
Spark
to
Hbase
使用
Oozie
scala
、
hadoop
、
apache-spark
、
hbase
、
oozie
我试图
在
Hbase
中
从
Spark
创建
一个表,
并
插入
数据,从中
读取
数据。 val sc = new SparkContext("local", "
Hba
浏览 0
提问于2016-06-16
得票数 1
1
回答
无法从
HBase
访问运行在安全集群上
的
数据库?
scala
、
hbase
、
apache-spark-sql
、
kerberos
、
hbase-client
尝试从Windows
中
的
Eclipse程序连接到Windows。如何在类路径
中
设置
hbase
-site.xml?我下载了*site.xml
文件
,尝试将
hbase
-site.xml, core-site.xml and hdfs-site.xml作为so
浏览 4
提问于2016-11-18
得票数 0
1
回答
从列表行键
创建
Spark
DataFrame
scala
、
apache-spark
、
apache-spark-sql
、
hbase
、
rdd
我
在
表单或Array[Row]中有一个
HBase
行键
的
列表,
并
希望从
使用
这些RowKeys从
HBase
获取
的
行
中
创建
一个
Spark
DataFrame。我在想像这样
的
东西: def getDataFrameFromList(
spark
: SparkSession, rList : Array[Row]): DataFrame = { val conf= HBaseConfig
浏览 15
提问于2019-10-02
得票数 1
回答已采纳
2
回答
按顺序执行火花流操作
apache-spark
、
hbase
、
apache-kafka
、
spark-streaming
我
在
火花流应用程序
中
读取
kafka
的
数据,
并
执行两个操作。将dstreams
插入
hbase
表A 我希望确保dstream
中
的
每个
rdd
在对
hbase
表B
的
更新操作之前
插入
到
hbase
表A(对每个
rdd
依次执行上述两个操作)如何在火花流应用程序
中</
浏览 5
提问于2017-05-30
得票数 2
回答已采纳
1
回答
pyspark streaming如何设置ConnectionPool
apache-spark
、
pyspark
、
spark-streaming
我有一个任务,我想从kafka
读取
数据,
并
使用
火花流来处理它,我想发送数据
到
Hbase
。
在
spark
官方文档
中
,我发现: # ConnectionPool is a static, lazily initialized pool of:
rdd
.foreachPartition(sendPartition)) 但是我找不到任何用火种设置ConnectionPool
到</
浏览 11
提问于2019-07-22
得票数 1
2
回答
在哪个版本
的
HBase
中集成了
spark
API?
apache-spark
、
hbase
我阅读了
spark
和
hbase
的
文档: 我很困惑,为什么apidocs和
HBase
版本不匹配?我
的
目标是
使用
Spark
和
HBase
(bulkGet,bulkPut..etc)。我如何知道这些函数是在哪个
HBase
版本
中
实现
的
? 如果有人
浏览 5
提问于2015-12-03
得票数 5
2
回答
用python将火花2与
HBase
集成连接起来
的
jars
python
、
pyspark
、
hbase
、
apache-spark-2.0
我
在
Spark
2
中
使用
pyspark,是否有任何jars将
HBase
与可用
的
pyspark连接。 请帮我拿一下样本代码。
浏览 2
提问于2018-01-12
得票数 1
回答已采纳
1
回答
通过saveAsObject保存
RDD
,异常“有一个不可序列化
的
结果: org.apache.hadoop.
hbase
.io.ImmutableBytesWritable”
apache-spark
、
serialization
、
hbase
、
deserialization
、
alluxio
我需要将从
HBASE
读取
的
RDD
序列化
到
alluxio内存
文件
系统
中
,作为缓存和定期更新它
的
方式,以便在增量
SPARK
计算中
使用
。代码如下所示,但遇到标题为exception
的
代码val namedeRDDName= sc.newAPIHadoopRDD(conf, classOf[
浏览 1
提问于2017-02-23
得票数 1
1
回答
在
map调用
中
获取
Spark
上
的
行
java
、
hadoop
、
apache-spark
、
hbase
我尝试从HDFS
中
的
文件
中
聚合数据。我需要添加一些细节,从这些数据
的
价值
在
hbase
中
的
一个特定表。:158) at org.apache.
spark
.
rdd
.
RDD
.map我
的
问题是:如何
使用<
浏览 11
提问于2017-02-02
得票数 2
回答已采纳
1
回答
在
pyspark
中
读取
CSV
并转换为float
apache-spark
、
pyspark
我是
Spark
新手。我正在尝试
读取
CSV
文件
,
并
使用
PySpark
将其
转换为RowMatrix。以下是我
的
数据格式:rows = sc.textFile('testmatrix.txt').m
浏览 0
提问于2017-09-15
得票数 0
3
回答
创建
数据架构
的
有效方法是什么?
apache-spark
我是个新手,我发现有两种方法可以
创建
数据框架
的
模式。我有一个
RDD
: empRDD和数据(除以",")| 1| Mark| 1000| HR|val empData = empFile.map(e => e.split(","))
创建</e
浏览 9
提问于2017-06-22
得票数 0
回答已采纳
2
回答
将
csv
文件
加载到
RDD
和Dataframe
中
的
区别
csv
、
apache-spark-sql
、
rdd
可能是一个可能
的
复制,但我无法找到坚持这样做
的
用例。 如我们所知,我们可以直接将
csv
文件
加载到dataframe,并可以
将其
加载到
RDD
中
,然后稍后将该
RDD
转换为dataframe。此外,我们还可以
创建
直接
读取
csv
文件
的
dataframe。Dataframe =
spark
.read.format("
csv
&qu
浏览 0
提问于2018-11-29
得票数 0
回答已采纳
2
回答
如何实现
RDD
的
并行化?
scala
、
apache-spark
要将
文件
读入内存,我
使用
以下命令:它
的
类型是:阅读Scala文档:“并行集合是通过
在
现有的Scala集合(序列对象)上调用SparkContext
的
parallelize方法
创建</e
浏览 0
提问于2014-04-26
得票数 6
回答已采纳
1
回答
如何将写入
HBase
?
scala
、
apache-spark-sql
、
hbase
我正在尝试将
Spark
Dataframe写到
HBase
中
,
并
跟踪了其他几个博客,其中一个是,但它不起作用。 但是,我可以成功地将
HBase
中
的
数据
读取
为Dataframe。还有一些帖子
使用
了org.apache.hadoop.
hbase
.
spark
格式,还有一些文章
使用
了org.apache.
spark
.sql.execution.datasources.<em
浏览 0
提问于2018-09-11
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Spark 核心编程RDD的使用(1)
Spark核心编程RDD分区器以及文件读取与保存
机器学习实践:如何将Spark与Python结合?
Spark应用数据分片介绍
Spark On HBase
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券