腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
spark
流
中
是否
允许
睡眠
语句
如果我不能消费消息并想在5秒后重试,我需要添加
睡眠
语句
。为此,我需要设置任何配置属性吗?
浏览 45
提问于2019-06-19
得票数 1
回答已采纳
2
回答
如何知道应用程序
是否
处于运行状态以终止火花提交过程?
我正在创建一个shell脚本,它将从Jenkins执行,因为我们有很多
流
作业,而且似乎更容易管理Jenkins。所以我创建了下面的脚本。
spark
-submit "
spark
parameters here" > /dev/null 2>&1 &sleep 5m如果我没有
睡眠
,火花提交过程将立即终止,也不会提交任何火花申
浏览 4
提问于2016-08-10
得票数 2
回答已采纳
1
回答
蜂巢3上的蜂巢兽人酸
是否
需要TEZ (如果不使用)?
、
、
、
、
而且,来自的斜体和粗体
语句
声明了完全事务功能,但我无法遵循,因为我不知道
SPARK
可以更新、删除HIVE (尚未):Apache使用Hive连接器获得可更新的表和ACID事务。Hive连接器
允许
您将Hive事务性表注册为
Spark
中
的外部表,以访问完整的事务性功能。以前的版本只支持表分区操作。Hive连接器还支持
流
DataFrames,用于
流
读写来自
Spark
的事务性和流式Hive表。 火花执行器可以直接连接到Hive守护进程,以
浏览 3
提问于2019-12-04
得票数 0
回答已采纳
1
回答
用DataFrame实现火花状态
流
、
、
是否
可以将DataFrame用作星火
流
的状态/ StateSpec?当前的StateSpec实现似乎只
允许
键值对数据结构(mapWithState等)。我的目标是保持一个固定大小的FIFO缓冲区作为一个StateSpec,每次新的数据
流
都会被更新。为了与
Spark
兼容,我想在
Spark
中
实现缓冲区。
浏览 2
提问于2018-02-22
得票数 1
回答已采纳
3
回答
有没有一种方法可以使用dask在拼图文件上运行SQL
语句
?
Spark
有一个功能,
允许
用户在
Spark
数据帧上运行SQL
语句
。那达斯克呢?如果现在没有,
是否
正在考虑
中
?
浏览 0
提问于2020-05-28
得票数 0
1
回答
Android WebRTC可以继续语音通话,但不能继续视频通话。
、
我正在开发一个Android的视频-音频呼叫应用程序,到目前为止,我已经完成了主要功能,它运行良好我的问题是,当我按下“主页”按钮(视频因任何原因而被打断)时,我无法再得到它,奇怪的是,我可以用声音做我想做的任何事情;在应用程序处于后台并停止声音时继续运行,但不幸的是,我根本无法控制视频。我认为在创建与视频相关的webRTC内容时存在一个问题,下面是负责该内容的代码: .builder(this)
浏览 2
提问于2018-06-04
得票数 0
回答已采纳
1
回答
连接来自同一
spark
流
数据集的两个
流
、
、
在
Spark
structutred streaming (2.3)
中
,
是否
允许
连接来自同一输入流数据集的两个
流
?这会起作用吗?eventhubs =
spark
.readStream ... .createOrReplaceTempView("Input&quo
浏览 1
提问于2018-07-29
得票数 1
1
回答
基于google云存储的
Spark
结构化流媒体
、
、
、
我正在运行几个使用google云存储上的Avro数据的batch
Spark
管道。我需要更新一些管道,使其更实时,并且想知道
spark
structured
是否
可以以
流
的方式直接消费来自gcs的文件,即parkContext.readstream.from(...)可以应用于从外部源的存储桶下连续生成的Apache beam已经有像File.MatchAll().continuously(),Watch,watchnewFiles这样的东西,
允许
beam管道监控新文件并以
流
的方式读取它们
浏览 1
提问于2018-01-05
得票数 2
1
回答
在千兆位以太网上休眠的计算机会降低组播性能。
、
、
、
、
禁用
流
控制解决了以下问题:然而,这意味着每个客户网络上的每个设备都需要关闭自动协商,然后手动关闭流量控制。举个例子:我注意到,在我愚蠢的老千兆位开关上,
睡眠
机有流量控制关闭,链接灯打开,1000 flow的灯被点燃。我的问题是:
是否
有任何RFC/协议
允许
流量忽略
流
控制。(可能不是)
是否
有RFC/protoc
浏览 0
提问于2016-10-03
得票数 1
4
回答
创建一个批处理文件以更改Windows 7
中
的电源选项
是否
有方法创建批处理文件并将其放在桌面上以更改Windows 7
中
的电源选项?具体来说,我把电脑设置为30分钟后睡觉。现在我使用了“给我服务/
流
给我”的应用程序,我希望能够快速地改变电源设置以
允许
连续运行,然后在我使用完
流
应用程序之后,快速地将电源设置更改回30分钟
睡眠
。这是怎么做的?能办到吗? 谢谢加里
浏览 4
提问于2015-06-12
得票数 2
回答已采纳
1
回答
Trigger.Once火花结构化
流
与卡夫卡可能吗?
、
、
、
使用Trigger.Once的
Spark
结构化
流
允许
直接连接到KAFKA并使用MERGE
语句
吗?或者这方面的数据必须来自delta表? 这个假设表作为输入。
浏览 3
提问于2022-02-24
得票数 1
回答已采纳
1
回答
在气流
中
协调并行任务的替代方法是什么?
、
我最近已经开始使用apache气流,我的dags和工作
流
运行得非常完美,但是,我正在寻找另一种方法来协调依赖关系,将任务排除在工作
流
中
。下面的代码生成以下内容>> t10>> end我正在寻找一种方法来排除
浏览 0
提问于2021-07-27
得票数 0
回答已采纳
1
回答
Apache Beam如何管理动态检查点?
、
、
、
我有一个在Apache光束
中
开发的流管道(使用
Spark
Runner),它从kinesis
流
中
读取。我正在寻找Apache光束
中
的选项来管理运动检查点(即定期存储运动
流
的当前位置),以便它
允许
系统从故障
中
恢复并在
流
中断的地方继续处理。有没有一个条款可用于支持类似于
Spark
Streaming的运动检查点(参考链接- )?
浏览 9
提问于2020-06-08
得票数 1
2
回答
在侦听端口上触发Scala UDP接收
、
、
、
、
中提到的示例
允许
我在TCP
流
中
接收数据包并监听端口9999。import org.apache.
spark
._import org.apache.
spark
.streaming.StreamingContextcomputation通过在Linux系统$ nc -l
浏览 5
提问于2016-12-25
得票数 3
回答已采纳
2
回答
数据
流
图中的条件
语句
?
是否
允许
在DFD
中
创建条件
语句
?在创建DFD时,
是否
需要显示验证
语句
和条件
语句
,或者只是显示数据
流
? 例如,在基于web的应用程序
中
为登录页面创建DFD时,我
是否
要显示用户
是否
有效?
浏览 19
提问于2012-02-20
得票数 4
1
回答
两个火花结构化
流
作业不能写入相同的基路径
、
、
Spark
结构化
流
不
允许
两个结构化
流
作业将数据写入相同的基本目录,而使用dstreams则可以这样做。由于默认情况下将为一个作业创建_
spark
_metadata目录,因此第二个作业不能像其他作业创建的_
spark
_metadata目录一样使用与基本路径相同的目录,因此将引发异常。
是否
可以在其他地方创建_
spark
_metadata目录,或者在不丢失任何数据的情况下禁用。 如果我必须更改这两个作业的基本路径,那么我的整个框架就会受到影响,所以我不想这样
浏览 4
提问于2020-01-17
得票数 0
1
回答
火花结构化
流
-此查询不支持从检查点位置恢复。
、
、
val lines: DataFrame =
spark
.readStream .option("host", "localhost") .option(当hdfs作为检查点时,它是在我的本地系统
中
创建检查点而不是hdfs,如何使它成为hdfs的检查点?我们
是否
需要在每个df.writeStream选项中提供检查点,即我们也可以传递
spark
.sparkContext.setCheckpointDir(checkpo
浏览 3
提问于2021-01-25
得票数 1
回答已采纳
2
回答
星火
流
和星火结构化
流
使用相同的微批引擎吗?
、
、
星火
流
和星火结构化
流
是否
使用相同的微批调度引擎?星火结构
流
比星火
流
有更低的延迟吗?
浏览 0
提问于2019-02-01
得票数 3
回答已采纳
1
回答
Spark
从具有未知类型的任意列
中
减去整数
、
、
我尝试从一个系统获取任意SQL
语句
作为输入,并在
Spark
Databricks集群
中
运行它。此时,我的程序知道SQL
语句
的备用表,并为查询加载了这些表。但是我遇到了一个问题,SQL
允许
您从任意列
中
减去一个整数,而
Spark
不
允许
。我正在尝试通过正则表达式找到一种方法,将(T1.SomeColumn - 1)替换为它的
spark
等效项;而不必完全剖析select
语句
来找出列来自哪个表以及它的数据类型是什么。我的问题是
浏览 36
提问于2020-08-27
得票数 0
回答已采纳
2
回答
火花卡夫卡
流
- java.lang.NoClassDefFoundError: akka/util/Helpers$ConfigOps$
、
、
、
......import org.apache.
spark
.sql.SQLContext <dependency> <groupId>org.apache.
spark
<
浏览 0
提问于2015-12-11
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
如果你想月薪超过3万英镑,那么这项技能是必要的
一文读懂Apache Spark
什么是 Apache Spark?大数据分析平台详解
想要月入30k以上,那么这门技术是必须了解的
Spark2.0新特性分析,看看你都是用到哪些了?
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
活动推荐
运营活动
广告
关闭
领券