我想将Java Spark SQL DataFrames转换为结构化流式DataFrames，这样每一批都会统一到结构化流式DataFrame。因此，我可以在DataFrames上使用从批处理源获得的Spark Structured Streaming功能(例如连续作业)。
浏览 24提问于2021-08-22得票数 0
回答已采纳
我正在使用Spark 2.3结构化流媒体，并尝试使用“lag”功能。但是，看起来在结构化流中不支持lag。val output = spark.sql("SELECT temperature, time, lag(temperature, 1) OVER (ORDER BY time) AS PrevTempFROM InputTable")org.apache.spark.sql.AnalysisException
浏览 13提问于2018-07-21得票数 2
1回答
我不知道星火‘结构化API’是什么意思。如果你能更具体地告诉我，我将不胜感激。
对不起，我没有完美的英语。(我得到了翻译的帮助。)
浏览 1提问于2019-06-06得票数 2
回答已采纳
val df_col = df.select("ts.user.friends_count").collect.map(_.toSeq)我所要做的就是在结构化流中复制以下sql.dataframedf.collect().foreach(row =>
浏览 0提问于2018-01-11得票数 3
回答已采纳
我使用Spark2.2.0，并在windows上使用Spark结构化流时出现以下错误：
当没有streaming aggregations的streaming DataFrames/DataSets上有
浏览 0提问于2017-11-13得票数 2
回答已采纳
我在Databricks笔记本上使用Spark2.1和Scala2.11可以在SparkSQL的ScalaAPI中找到 .json(inputPath)创建事件类
import org.apache.spark.
浏览 1提问于2017-06-01得票数 7
回答已采纳
我不知道如何启动星火文件，使其处理从kafka生成的数据流。
.\bin\windows\动物园管理员-start.bat .pyspark import SparkContext, SparkConffrom pyspark.sqlKafkaUtils
outputPath = 'C:/Users/Admin/Downloads/madi_kaf
浏览 4提问于2020-07-25得票数 0
回答已采纳
我想使用PySpark将我的MongoDB集合集成到Elasticsearch中。我有MongoDB的连接字符串，但我不知道如何构造代码结构或指定一些参数。有人能给我创建这个任务的代码示例吗？虽然我在这个领域仍然是新手，但我已经尝试阅读了一些文档，但我发现自己被一些参数卡住了，仍然不能清楚地了解这项任务。谢谢你帮我。
浏览 20提问于2021-11-10得票数 0
在Apache Spark中，RDD是不可变的。
数据集和数据帧怎么样？它们是可变的还是不可变的(因为底层结构仍然是RDD)？
浏览 0提问于2020-07-03得票数 0
我假设spark.sql(查询)是在使用spark.sql时使用的，而spark.read.format("jdbc").option("query“、"")则是在使用oracle语法时使用的。
浏览 3提问于2021-08-16得票数 3
回答已采纳
1回答
server存储过程到Spark
、、、、
我们将MS SQL server作为各种数据库的主要选项，并定期运行数百个存储过程。现在我们移动到完全大的数据堆栈。我们正在使用星火处理批处理作业。
浏览 9提问于2016-06-24得票数 1
回答已采纳
1回答
我刚刚开始学习spark (更准确地说是pyspark)。
如何将HDF5文件转换为spark数据帧？能否在这方面提供帮助，或者dask dataframes是不同于spark dataframes的东西？
浏览 2提问于2016-09-29得票数 3
2回答
我使用Spark structured streaming处理从Kafka读取的记录。以下是我想要达到的目标： (i) Groups records by their timestamp into 5-minute windows问题
浏览 2提问于2017-10-02得票数 15
3回答
我得到了一些170列的数据帧。在一列中，我有一个"name“字符串，当我将它们写到Postgres时，这个字符串有时会有一个特殊的符号，比如"'”，这是不合适的。我能做这样的东西吗：我不想解析完整的DataFrame，因为它非常huge.Help我请
浏览 3提问于2017-01-18得票数 12
回答已采纳
我正在尝试将多个输入文件加载到单个数据帧中：private def unionAll(dataFrames: Seq[DataFrame], sqlContext: SQLContex
浏览 2提问于2016-10-11得票数 0
2回答
我在ApacheSpark2.2中使用了最新的结构化流，并得到了以下例外：
res0: String = 2.2.0
浏览 1提问于2017-08-18得票数 19
回答已采纳
1回答
我对Athena的理解是，它只是使用类似于Apache (或类似的)的东西来为存储在S3存储桶中的任何数据(关系数据和其他数据，以及任何格式:非结构化明文、JSON、XML等)提供类似SQL的接口。因此，如果您只想通过类似SQL的语法查询S3中的数据，雅典娜是一个很好的选择。
首先，有人能从确认/澄清我以上的理解开始吗?假设我或多或少是正确的.我已经在S3上创建了结构化/关系(存储在JSON和CSV文件中)。我想要创建一个ETL进程，它从S3中读取这些数据并将其转储到Redshift中
浏览 1提问于2018-05-15得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
