腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
Spark
结构
流
中
的
临时
视图
pyspark
、
apache-spark-sql
、
spark-streaming
、
spark-structured-streaming
、
pyspark-dataframes
在ForeachBatch Function Structured Straming
中
,我想创建在微型批次
中
接收
的
数据帧
的
临时
视图
func(tabdf, epoch_id):
浏览 28
提问于2020-07-03
得票数 0
1
回答
如何将
流
DataFrame写入
Spark
结构
化
流
中
的
多个接收器
apache-spark
、
spark-structured-streaming
我有一组SQL规则,需要在foreachBatch()内部
的
流
数据
中
应用这些规则。应用这些规则之后,应该将结果/过滤后
的
数据写入多个目的地,如"delta“和"cosmos DB”。下面是我尝试过
的
:使用来自forEachBatch()方法
的
静态数据,我试图创建如下所示
的
临时
视图
。DataFrame, batchId: Long) { microBatchOutputDF.createOrRepl
浏览 1
提问于2020-12-18
得票数 4
回答已采纳
1
回答
Spark
Structured Streaming -无需重新读取数据
的
多个聚合
apache-spark
、
spark-structured-streaming
我正在研究将Apache
Spark
用于一个应用程序。我对使用
临时
视图
和完整SQL查询
的
结构
化
流
模式特别感兴趣(为了简单和低延迟)。有没有办法避免
Spark
重复读取每个查询
的
输入?
浏览 27
提问于2021-01-20
得票数 0
回答已采纳
2
回答
用消防软管从分区文件夹
中
读取JSON
apache-spark
、
apache-spark-sql
、
databricks
、
spark-structured-streaming
Kinesis将文件
的
持久性(在本例
中
为时间序列JSON )管理为一个文件夹层次
结构
,该层次
结构
由YYYY/MM/DD/HH (直到24小时编号)...great划分。那么我如何使用
Spark
2.0来读取这些嵌套
的
子文件夹,并从所有的叶json文件
中
创建一个静态
的
Dataframe呢?数据阅读器有“选项”吗?我
的
下一个目标是成为一个
流
DF,火龙将新文件持久化到s3
中
,使
浏览 4
提问于2016-10-30
得票数 8
1
回答
google-BigQuery使用
的
临时
存储
google-bigquery
在将数据写入BigQuery表时,在写入表之前,数据会被缓冲到所选存储桶
中
的
临时
区域中。随着写操作并发性
的
增加,这种
临时
存储
的
性能变得非常重要。可以执行什么优化来提高这种缓冲区写入性能?例如,固态硬盘可以用于
临时
存储吗? 谢谢
浏览 2
提问于2021-03-07
得票数 0
2
回答
星火
流
和星火
结构
化
流
使用相同
的
微批引擎吗?
apache-spark
、
spark-streaming
、
spark-structured-streaming
星火
流
和星火
结构
化
流
是否使用相同
的
微批调度引擎?星火
结构
流
比星火
流
有更低
的
延迟吗?
浏览 0
提问于2019-02-01
得票数 3
回答已采纳
2
回答
全局
临时
视图
的
用途是什么?
apache-spark
、
apache-spark-sql
、
pyspark-sql
尝试了解如何使用
Spark
全局
临时
视图
。在一次
spark
-shell会话
中
,我创建了一个
视图
spark
.read.option("SELECT * FROM global_temp.my_cars").show() 而在另一个地方,我试图访问它,但没有
浏览 0
提问于2018-03-05
得票数 3
回答已采纳
1
回答
火花2.3下降温度表
apache-spark
、
pyspark
、
apache-spark-sql
、
pyspark-sql
在各自
临时
表
的
使用结束后,我正在尝试使用dropTempTable() (以释放内存供下一次计算)。DF.dropTempTable('xyz')
spark
.dropTempTable('xyz')
浏览 2
提问于2018-05-26
得票数 5
1
回答
spark
.sql()和
spark
.read.format("jdbc").option("query“、"")之间有什么区别?
python
、
apache-spark
、
pyspark
、
apache-spark-sql
我假设
spark
.sql(查询)是在使用
spark
.sql时使用
的
,而
spark
.read.format("jdbc").option("query“、"")则是在使用oracle语法时使用
的
。我这样假设是对
的
吗?
浏览 3
提问于2021-08-16
得票数 3
回答已采纳
1
回答
是否有可能将dataframe注册为
spark
结构
化
流
数据流上
的
一个
临时
视图
?
apache-spark
、
pyspark
、
apache-spark-sql
、
spark-structured-streaming
我使用星火
结构
流
从kafka主题读取数据,我想对这些
流
数据运行sql查询。=
spark
_session()
spark
.sql("select * from x") def
spark
_session.config('
spark
.jars.packages', 'org.apache.
spark
:<e
浏览 0
提问于2019-07-17
得票数 0
回答已采纳
2
回答
spark
.sql.adaptive.enabled是否适用于星火
结构
化
流
?
apache-spark
、
apache-spark-sql
、
spark-structured-streaming
我使用Apache
结构
化
流
。
结构
化
流
是建立在
Spark
引擎上
的
可伸缩和容错
的
流
处理引擎。由于它构建在
Spark
引擎上,这是否意味着
spark
.sql.adaptive.enabled适用于火花
结构
化
流
?
浏览 7
提问于2022-04-30
得票数 -1
2
回答
是否可以直接将数据从Nifi发送到
Spark
结构
化
流
/Storm,而不丢失数据?
apache-spark
、
apache-storm
、
apache-nifi
、
spark-structured-streaming
在我当前
的
场景
中
,Nifi收集数据,然后发送给Kafka。然后,任何流媒体引擎都会消耗卡夫卡
的
数据,并对其进行分析。在这种情况下,我不想在Nifi和流媒体引擎之间使用卡夫卡。因此,我想将数据从Nifi直接发送到
流
引擎。但是,我不知道一些细节。 例如,
结构
化
流
;如果我直接将数据从Nifi发送到
Spark
结构
化
流
,
Spark
收到了这些数据,但是
Spark
的
节点被关闭了。火花节点中<em
浏览 0
提问于2019-02-14
得票数 0
回答已采纳
2
回答
值createGlobalTempView不是apache.org.
spark
.sql.DataFrame
的
成员
apache-spark
、
apache-spark-sql
、
spark-dataframe
我试图使用以下语句将DataFrame注册为全局
临时
视图
:它没有识别createGlobalTempView上
的
DataFrame对象它显示了错误: 我漏掉了图书馆
的
进口品吗?
浏览 6
提问于2016-12-15
得票数 2
2
回答
在databricks notebook之间共享缓存/持久数据帧是可能
的
吗?
apache-spark
、
hadoop
、
databricks
我想在一个笔记本
中
缓存一个表(Dataframe),然后在另一个笔记本中使用它,我对这两个笔记本使用相同
的
databricks集群。 请建议,如果这是可能
的
,如果是,那么如何?
浏览 22
提问于2021-11-12
得票数 1
1
回答
将数据作为
临时
视图
注册
的
目的是什么?
apache-spark
、
pyspark
、
apache-spark-sql
我正试图理解为什么我会注册一个数据作为一个
临时
视图
在火星雨。下面是一个虚拟
的
例子
spark
_df =
spark
.createDataFrame([(1, 'foo'),(2, 'bar'),],['id',view to the catalog # Pul
浏览 2
提问于2020-08-31
得票数 1
回答已采纳
2
回答
使用
Spark
结构
化
流
检索图形信息
apache-spark
、
pyspark
、
spark-structured-streaming
星火
流
为每个执行
的
应用程序提供了部署
的
Web (运行应用程序
的
http://localhost:4040或已完成
的
应用程序
的
http://localhost:18080 )
中
的
“
流
”选项卡,其中可以获得代表应用程序性能
的
图表,而使用
Spark
结构
化
流
无法获得更多
的
图表。在我
的
例子
中
浏览 1
提问于2020-10-01
得票数 1
回答已采纳
3
回答
如何枢轴流数据集?
apache-spark
、
spark-structured-streaming
、
apache-spark-2.0
我正在尝试转向星火
流
数据集(
结构
化
流
),但我得到了一个AnalysisException (摘录如下)。 有人能确认在
结构
化
流
(
Spark
2.0)
中
确实不支持旋转吗?线程“主”org.apache.
spark
.sql.AnalysisException
中
的
异常:必须使用writeStream.start()执行
流
源查询;卡夫卡在org.apache.
spark
.sql.cataly
浏览 9
提问于2017-12-01
得票数 8
回答已采纳
2
回答
火花:舞台边界上
的
磁盘I/O解释
apache-spark
、
apache-spark-sql
我无法在官方文档中找到有关火种
临时
数据存储在磁盘上
的
信息,只能在一些火种优化文章中找到,比如。 UPD:找到了关于为什么会在发生这种情况
的
更多细
浏览 3
提问于2019-11-04
得票数 4
回答已采纳
1
回答
在公共
视图
上具有不同触发间隔中继
的
火花
结构
化
流
多个查询
apache-spark
、
spark-structured-streaming
假设我们有一个
结构
化
流
应用程序,其中有多个接收器,具有不同
的
触发间隔,并且依赖于某些公共
视图
。如何处理普通
视图
:自动缓存或多次处理?以下是伪码 ds.select(udf1(a) as a, udf2(b) as b, udf3(c)
spark
.sql("select max(a) from t0 group by window(c,
浏览 1
提问于2017-08-17
得票数 3
回答已采纳
1
回答
将多个RDDs / dataframes插入全局
视图
scala
、
apache-spark
、
apache-kafka
、
apache-spark-sql
、
spark-streaming
我正在使用火花
流
从kakfa经纪人每10分钟接收通话记录。我想把这些记录插入到一些可诱惑
的
(全局
的
?)一旦我收到卡克法
的
消息就继续插入。 请注意,,我不想存储在蜂窝。每次插入后,我想检查某个特定号码
的
呼叫是否超过20 (例如)。下面是我编写
的
代码,它将每个rdd转换为df,然后创建一个
临时
视图
。但是,我想该
视图
将只包含最后一个RDD。如何继续在同一
视图
中插入记录并在以后运行sql?================&q
浏览 0
提问于2018-05-03
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
“读字节聊大数据”进入大数据领域的学习路线是什么?
实时计算框架 Flink 在教育行业的应用实践
一文读懂Apache Spark
第八篇|Spark SQL百万级数据批量读写入MySQL
什么是 Apache Spark?大数据分析平台详解
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券