腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(3129)
视频
沙龙
2
回答
如何在Cloud Dataproc上安装Apache
Spark
的自定义版本
、
、
如何在安装自定义版本的
Spark
的同时保持与Cloud Dataproc工具的兼容性?
浏览 3
提问于2018-04-12
得票数 3
1
回答
如何使用python对数千行数据执行ETL?
、
、
、
、
我有一个pgAdmin数据库,它在geojson format.Using中包含数百万行,这个表是我创建的Tableau仪表板。由于行包含geojson格式的数据,所以我必须这样查询:jsondata -> 'properties' ->> 'qq',,jsondata -> 'properties' -&g
浏览 4
提问于2020-04-10
得票数 0
1
回答
如何在Apache
Spark
中实现递归算法?
、
、
、
我有一个问题,我想在
Spark
中实现一个递归算法,并希望了解是否有任何建议可以在
Spark
中构建它,或者探索其他可能更适合的数据分析框架。构建一个在单个节点上运行的解决方案是很简单的(例如,
spark
master),但假设目录结构非常
大
,具有O(十亿)个叶节点。对于使用
Spark
或其他框架/
数据处理
技术构建递归/迭代类型的数据管道,有什么建议吗?
浏览 37
提问于2021-06-24
得票数 0
1
回答
将
Spark
处理的中间数据复制到目标S3时出现的AWS性能问题
目前我正在使用AWS电子病历进行
数据处理
。S3被用作着陆区域和最终处理的数据。来自S3的最终处理数据将被加载到Redshift中,以便客户运行Analytics。
Spark
创建了一个用于
数据处理
的中间文件夹,我们从该文件夹将最终处理的数据压缩到另一个S3 Bucket。
spark
.conf.set('
spark
.sql.sources.partitionOverwriteMode', 'dynamic
浏览 2
提问于2020-10-04
得票数 0
1
回答
Pyspark能否使用JDBC传递Alter Table
、
、
、
我知道我可以使用
spark
.read.jdbc传递查询,但在本例中,我想在数据加载后添加一个唯一约束。其目的是通过减少创建唯一索引的时间来加速到db中的数据加载过程。
浏览 22
提问于2020-06-02
得票数 0
回答已采纳
1
回答
PC上的大量数据?
、
、
我能用
spark
来做这个吗?有什么建议可以在我的电脑上处理吗? 谢谢
浏览 11
提问于2019-10-23
得票数 0
1
回答
:它是为了激发sql还是火花流?
、
、
、
星星之火的概念是否进入了
spark
或
Spark
。传统上,数据访问似乎属于
Spark
。但是,纠正我的错误,
数据处理
似乎也能够处理实时数据,所以我进入了这个问题。
浏览 2
提问于2017-06-29
得票数 0
回答已采纳
2
回答
pyspark和
spark
之间的记忆差异?
、
、
我一直在尝试使用一个PySpark作业来创建包含一堆二进制文件的RDD,然后我使用flatMap操作将二进制
数据处理
成一堆行。所以我打开了
spark
-shell和PySpark,并使用默认设置运行了REPL/shell中的命令,唯一的附加参数是--master yarn.
spark
-shell版本可以工作,而PySpark版本显示了相同的运行PySpark有那么
大
的开销吗?或者这是binaryFiles是新的问题吗?我使用的是
Spark
版本2.2.0.2.6.4.0-91。
浏览 1
提问于2018-08-11
得票数 0
1
回答
DC/OS上的Mesos主配置
、
、
我正在为运行Kafka->
Spark
->Cassandra工作负载在AWS上创建DC/OS集群。我可能会使用m3.size或r3
大
型实例。
浏览 3
提问于2016-05-17
得票数 2
回答已采纳
2
回答
Spark
scheduler vs
Spark
Core?
、
、
、
我发现Apache
Spark
是为了
教学
目的,我对如何管理任务调度有点困惑。我发现
Spark
有3个调度选项:
Spark
Scheduler,YARN Scheduler和MESOS。但是我也读到
Spark
Core管理任务的调度。所以我想我没有明白这一点: 如果
Spark
Core管理任务的调度,为什么我们还需要
Spark
Core下面的调度器?
浏览 18
提问于2020-12-19
得票数 0
1
回答
读取Avro文件,一次一行。Python
、
上下文:我想把Avro文件读入
Spark
作为RDD。我想知道,如果我可以访问Avro数据模式,是否可以一次解析一行Avro文件。 我正在使用pyspark来编写我的
spark
作业。
浏览 1
提问于2015-12-12
得票数 1
1
回答
Spark
streaming每小时00:00运行处理
我正在尝试使用
Spark
每小时执行一次流
数据处理
,但我希望它开始时接近xx:00:00 (xx是小时id)。这是可能的,还是违背了
Spark
的意识形态?
浏览 1
提问于2018-08-09
得票数 0
1
回答
Akka在SMACK架构中的作用
、
、
当我们已经有
Spark
的时候,Akka在SMACK架构中的作用是什么?SMACK是由
Spark
提供的关于
数据处理
的,那么我们为什么需要Akka呢?
浏览 0
提问于2016-11-04
得票数 0
1
回答
Apache
Spark
与MapReduce
、
、
我一直在查找
Spark
和MapReduce之间的区别,我真正发现的是
Spark
在内存和磁盘上运行,这使得它的速度大大加快。但想必,使用
Spark
,您无论如何都会在内存和磁盘之间移动数据,因此如果内存空间不足,您可以将一些数据移回磁盘,然后引入新数据进行处理。 基本上,还有没有真正的理由继续使用MapReduce?
浏览 0
提问于2018-05-02
得票数 0
1
回答
关于微信支付?
、
、
、
我使用腾讯
教学
视频中,使用tenpay,在云函数目录下输入指令 npm i tenpay 进行了安装,然后跟着
教学
视频做,最后却运行错误,请
大
咖们指教下,谢谢!
浏览 295
提问于2019-07-17
1
回答
如何在
spark
2-submits之间保持
Spark
集群的活力?
、
我需要在输入数据文件到达时通过执行
spark
2-submit来处理它们,以通过pyspark脚本处理输入文件。我观察到的是,对于每个
spark
2--submit,
spark
在进行最新输入文件的
数据处理
之前都会进行大量的初始化。这会导致延迟。如何在
spark
2提交之间保持
Spark
集群的活动状态?单独但相关的问题:除了
spark
2-submit之外,还有什么机制可以用来向
spark
提交有效负载? 提前感谢你的见解。
浏览 2
提问于2017-12-06
得票数 2
0
回答
如何从
spark
1.6连接到bigsql
、
、
、
、
我在云4.1,Ambari 2.2.0和
Spark
1.6.1上使用BigInsigths,连接是scala还是python都没关系,但我需要用
spark
做
数据处理
,然后在BigSql中持久化它。
浏览 11
提问于2017-06-10
得票数 0
2
回答
hadoop和
spark
有什么区别?
、
随着see在市场上的增长,我可以看到
spark
在Hadoop上的主要用例如下: 而且处理得很快。 火花会在未来几天取代Hadoop吗?
浏览 0
提问于2015-07-08
得票数 3
回答已采纳
1
回答
是否可以使用
spark
的jdbc驱动程序将apache
spark
与jasper集成?
、
、
、
我们想使用apache
spark
进行实时分析吗?我们目前使用hive/MR进行
数据处理
,使用mysqlsql存储聚合结果,并使用jasper报告进行分析?我们正在探索在hdfs或cassandra上运行apache
spark
的过程中,唯一的问题是
spark
是否有办法与jasper服务器集成?如果不是,还有什么UI选项可以与
spark
一起使用?
浏览 1
提问于2015-02-21
得票数 2
1
回答
星火创建空avro文件的100个
我正在处理一个非常
大
的数据集使用火花。数据以avro文件的形式存储。数据还组织在目录结构中(/ data /yyyy/MM/dd/HH/)。
数据处理
代码如下val outputRDD = inputRDD.mapsc.createDataframe(outputRDD, outputSchema) o
浏览 3
提问于2016-03-18
得票数 1
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Spark计算引擎:Spark数据处理模式详解
Waterdrop帮你快速玩转Spark数据处理
Spark四大特征分析介绍
数据处理:大物实验的终极神器
身处风口的流数据处理,除了Spark Streaming、Apache Flink等开源软件,还有什么更完善可靠的选择?
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券