如何在安装自定义版本的Spark的同时保持与Cloud Dataproc工具的兼容性？
浏览 3提问于2018-04-12得票数 3
在边缘设备的分析方面，两者对我来说似乎都差不多，但Kaa完全是IoT的一个平台，它将边缘分析作为一项功能。哪一种更有效率，并在工业中使用？
浏览 5提问于2016-09-27得票数 0
1回答
我有一个pgAdmin数据库，它在geojson format.Using中包含数百万行，这个表是我创建的Tableau仪表板。由于行包含geojson格式的数据，所以我必须这样查询：jsondata -> 'properties' ->> 'qq',,jsondata -> 'properties' -&g
浏览 4提问于2020-04-10得票数 0
大约300吨的数据正在使用Google平台数据集(选项: dev)传输到大查询中。感谢您的阅读。
浏览 1提问于2020-10-19得票数 2
回答已采纳
1回答
我有一个问题，我想在Spark中实现一个递归算法，并希望了解是否有任何建议可以在Spark中构建它，或者探索其他可能更适合的数据分析框架。构建一个在单个节点上运行的解决方案是很简单的(例如，spark master)，但假设目录结构非常大，具有O(十亿)个叶节点。对于使用Spark或其他框架/数据处理技术构建递归/迭代类型的数据管道，有什么建议吗？
浏览 37提问于2021-06-24得票数 0
目前我正在使用AWS电子病历进行数据处理。S3被用作着陆区域和最终处理的数据。来自S3的最终处理数据将被加载到Redshift中，以便客户运行Analytics。Spark创建了一个用于数据处理的中间文件夹，我们从该文件夹将最终处理的数据压缩到另一个S3 Bucket。spark.conf.set('spark.sql.sources.partitionOverwriteMode', 'dynamic
浏览 2提问于2020-10-04得票数 0
我知道我可以使用spark.read.jdbc传递查询，但在本例中，我想在数据加载后添加一个唯一约束。其目的是通过减少创建唯一索引的时间来加速到db中的数据加载过程。
浏览 22提问于2020-06-02得票数 0
回答已采纳
import col, udfspark = SparkSession \ .appName("app") \ .config("spark.cores.max", 4) \
浏览 49提问于2019-02-11得票数 1
回答已采纳
1回答
星星之火的概念是否进入了spark或Spark。传统上，数据访问似乎属于Spark。但是，纠正我的错误，数据处理似乎也能够处理实时数据，所以我进入了这个问题。
浏览 2提问于2017-06-29得票数 0
回答已采纳
我一直在尝试使用一个PySpark作业来创建包含一堆二进制文件的RDD，然后我使用flatMap操作将二进制数据处理成一堆行。所以我打开了spark-shell和PySpark，并使用默认设置运行了REPL/shell中的命令，唯一的附加参数是--master yarn. spark-shell版本可以工作，而PySpark版本显示了相同的运行PySpark有那么大的开销吗？或者这是binaryFiles是新的问题吗？我使用的是Spark版本2.2.0.2.6.4.0-91。
浏览 1提问于2018-08-11得票数 0
1回答
我正在为运行Kafka->Spark->Cassandra工作负载在AWS上创建DC/OS集群。我可能会使用m3.size或r3大型实例。
浏览 3提问于2016-05-17得票数 2
回答已采纳
我们使用spark作为数据处理平台和Scala编程语言。当我们在存储帐户(ADLS 2)上写入数据时，我们使用java.sql.Timestamp类型的datetime列对数据进行分区。我们使用spark dataframe.write操作编写数据
默认情况下，它在存储帐户上创建以下路径，并在其中写入拼花文件。
浏览 5提问于2022-08-12得票数 0
回答已采纳
上下文:我想把Avro文件读入Spark作为RDD。我想知道，如果我可以访问Avro数据模式，是否可以一次解析一行Avro文件。
我正在使用pyspark来编写我的spark作业。
浏览 1提问于2015-12-12得票数 1
我正在尝试使用Spark每小时执行一次流数据处理，但我希望它开始时接近xx:00:00 (xx是小时id)。这是可能的，还是违背了Spark的意识形态？
浏览 1提问于2018-08-09得票数 0
1回答
当我们已经有Spark的时候，Akka在SMACK架构中的作用是什么？SMACK是由Spark提供的关于数据处理的，那么我们为什么需要Akka呢？
浏览 0提问于2016-11-04得票数 0
你好，我是一个正在研究VOLTTRON平台的开发人员。我有连接电压和本地集群(或AWS)的问题。我认为这个问题的解决有三个例子。使用vip(电压互连协议)<-但这个解决方案应该安装电压
解决方案1为大数据框架(Spark等)接口定制代理
浏览 5提问于2017-03-05得票数 0
我一直在查找Spark和MapReduce之间的区别，我真正发现的是Spark在内存和磁盘上运行，这使得它的速度大大加快。但想必，使用Spark，您无论如何都会在内存和磁盘之间移动数据，因此如果内存空间不足，您可以将一些数据移回磁盘，然后引入新数据进行处理。
基本上，还有没有真正的理由继续使用MapReduce？
浏览 0提问于2018-05-02得票数 0
需要从oracle数据库中提取数据并存储在Google云平台中。数据大小约为10 TB。有没有可能通过Spark？数据必须每月传输一次。在GCP中存储和处理的数据如下：
Oracle数据库到云存储(不必做CSV导出)，然后它将是干净的，并准备在Dataprep中，这将通过数据流进一步处理，最后它将被存储在Big Query下(从大查询数据科学家将使用数据来创建他们的模型我正在考虑从spark中提取数据(通过将DataProc用于spark作业)，并将其存储在GCP (任何一个云存储或大表
浏览 2提问于2019-11-17得票数 0
我需要在输入数据文件到达时通过执行spark2-submit来处理它们，以通过pyspark脚本处理输入文件。我观察到的是，对于每个spark2--submit，spark在进行最新输入文件的数据处理之前都会进行大量的初始化。这会导致延迟。如何在spark2提交之间保持Spark集群的活动状态？单独但相关的问题:除了spark2-submit之外，还有什么机制可以用来向spark提交有效负载？
提前感谢你的见解。
浏览 2提问于2017-12-06得票数 2
云服务器
ICP备案
云直播
腾讯会议
对象存储
腾讯云开发者
