腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
使用
PubSub-NullPointerException
进行
Spark
流式
处理
,
同时
从
java
中
的
pub
sub
进行
流式
处理
google-cloud-platform
、
spark-streaming
、
google-cloud-pubsub
我
的
数据在PubSub
中
,我想
流式
传输数据。我
使用
dataproc在
java
.But
中
运行
spark
作业,作业失败,错误如下。19/06/18 06:32:30接收器报告流0
的
WARN org.apache.
spark
.streaming.scheduler.ReceiverTracker:错误:无法在scala.collection.IterableLikescala.collection.convert.Wra
浏览 11
提问于2019-06-24
得票数 3
2
回答
用于NRT数据应用
的
Google
apache-spark
、
apache-kafka
、
google-cloud-platform
、
google-cloud-dataflow
、
bigdata
我正在评估Kafka/
Spark
/HDFS,用于开发NRT (子秒级)
java
应用程序,该应用程序接收来自外部网关
的
数据,并将其发布到桌面/移动客户端(
使用
者),用于各种主题。
同时
,数据将通过用于分析和ML
的
流和批
处理
(持久)管道提供。 消费者还从
浏览 2
提问于2016-02-16
得票数 0
1
回答
如何将音频存储到db/s3bucket并
流式
传输到我
的
spring boot应用程序/侦听器
amazon-web-services
、
spring-boot
、
audio-streaming
、
audio-recording
、
data-storage
我有一个带有redis
pub
/
sub
的
spring boot应用程序。音频以300ms块
的
形式
流式
传输到我
的
应用程序中
进行
处理
。如何将整个音频存储到db或s3存储桶
中
,
同时
保持无状态?AUdio与其他信息一起
流式
传输,如会话is和捕获时间。我想累积整个音频,并将其保存到db或s3存储桶
中
。AWS Kinesis在此方案
中
是否有帮助? 我有听众设置,阅读
浏览 27
提问于2019-08-06
得票数 0
回答已采纳
1
回答
将
Spark
SQL DataFrames转换为结构化流DataFrames
apache-spark
、
apache-spark-sql
、
spark-structured-streaming
我想将
Java
Spark
SQL DataFrames转换为结构化
流式
DataFrames,这样每一批都会统一到结构化
流式
DataFrame。因此,我可以在DataFrames上
使用
从
批
处理
源获得
的
Spark
Structured Streaming功能(例如连续作业)。
浏览 24
提问于2021-08-22
得票数 0
回答已采纳
1
回答
当
使用
netcat
处理
spark
streaming
中
的
日志时,它会丢弃最后几行吗?
apache-spark
、
spark-streaming
、
netcat
我有一个
spark
-streaming服务,在那里我正在
处理
和检测基于某个离线生成
的
模型
的
异常。我
从
日志文件向此服务提供数据,日志文件
使用
以下命令
进行
流式
传输在这里,
spark
流服务
从
端口9999获取数据。但是,我观察到最后几行正在被丢弃,即
spark
streaming没有接收到这些日志行,或者它们没有被
处理</e
浏览 0
提问于2016-02-09
得票数 1
2
回答
Java
8 streams -列表
的
收集和流映射
java
、
collections
、
java-stream
我有一个列表
的
地图,并希望收集所有的值,然后流上收集
的
列表,所以给:-下面的工作/展示了我想要做
的
迭代,但我想在流
中
完成这一切,而不是
使用
迭代创建中间列表: List< PublicationSession> publicationsToFilter = new ArrayListp.getPublication
浏览 3
提问于2017-04-25
得票数 2
回答已采纳
1
回答
如何暂停
spark
streaming,直到批量持续时间内接收到
的
数据
处理
完毕?
apache-spark
、
spark-streaming
我遇到过这样一种情况:我通过流媒体
从
AWS kinesis收集数据到apache
spark
。在一段时间内收到数据后,我会
处理
这些数据并在cassandra中
进行
更新。在这里,
处理
应该以这样
的
方式
进行
:在cassandra
中
没有更新结果之前,
spark
不应该接收下一批记录。那么,如何停止下一批记录
的
流式
处理
,直到当前批
处理
完成?
浏览 0
提问于2018-06-11
得票数 0
1
回答
如何在
Spark
Streaming中
使用
基于数据集
的
转换?
apache-spark
、
apache-spark-sql
、
spark-streaming
我有一个批
处理
模式
的
Spark
作业(
使用
数据集),它执行一些转换并将数据摄取到NOSQL
中
。我正在努力避免2个副本
的
代码来
处理
类
浏览 1
提问于2017-01-21
得票数 1
1
回答
textFileStream
中
的
混淆
amazon-web-services
、
apache-spark
、
amazon-s3
、
spark-streaming
我
使用
textFileStream将数据摄取到
Spark
Streaming
中
。但数据仅针对一批
进行
处理
。我
的
第一个问题是,它不是
流式
传输文件
中
的
每一条记录吗?Batches” section in the notebook to figure out how to find more information.介绍 其次,我想知道有多少记录正在被火花Engine.For
处理
例如,如果我
流式
传输一个1
浏览 1
提问于2017-03-04
得票数 0
3
回答
如何
使用
LINQ (仅限流)过滤深度嵌套
的
XML,
同时
保持树结构?
xml
、
linq
、
streaming
我想知道如何
使用
LINQ对一个非常大
的
、嵌套很深
的
XML文档
进行
流式
处理
,
同时
根据某些条件过滤节点,然后将
流式
输出写入文件,
同时
保持XML
的
原始结构不变。这应该在不将整个文档加载到内存
中
的
情况下发生。 这个是可能
的
吗?
浏览 3
提问于2009-06-22
得票数 0
回答已采纳
2
回答
如何
使用
opencv读取python
中
的
视频流
python
、
opencv
、
raspberry-pi
我正在
使用
带有专用摄像头板
的
raspberry pi,我试图在将其
流式
传输到web服务器
的
同时
进行
一些图像
处理
。为此,我创建了命名管道,并从raspivid -> named_pipe -> ffmpeg -> web服务器上
流式
传输视频。这部分
的
工作没有任何问题。现在,我想要检测此视频提要上
的
移动。你知道如何在python
中
读取这个named_pipe
中
浏览 7
提问于2013-08-19
得票数 2
2
回答
结构化
流式
写入到不同
的
拼图文件夹
apache-spark
、
apache-spark-sql
、
parquet
、
spark-structured-streaming
我正在
使用
spark
structured streaming
从
kafka主题中读取事件,并对其
进行
处理
并将其写入到parquet
中
。我必须根据我在事件
中
获得
的
键将输出写入不同
的
文件夹。我尝试
使用
结构化
流式
处理
示例始终指向特定
的
文件夹.Do我需要为每个文件夹启动一个流吗?
浏览 2
提问于2018-08-13
得票数 0
2
回答
集成Kafka和HBase
的
最佳实践
apache-spark
、
hbase
、
apache-kafka
、
apache-storm
、
flume
将Kafka
中
的
流数据“导入”到HBase
中
的
最佳实践是什么?
使用
案例如下:将车辆传感器数据
流式
传输到Kafka。然后,必须对这些传感器数据
进行
转换(即,将protobuf反序列化为人类可读
的
数据),并将其存储在HBase
中
。1)您推荐哪个工具集(如Kafka --> Flume --> HBase、Kafka --> Storm --> HBase、Kafka -->
Spark
S
浏览 1
提问于2015-08-18
得票数 6
1
回答
过滤AWS CloudWatch有些事件是JSON,有些是文本
amazon-web-services
、
amazon-cloudwatch
我正在
使用
订阅过滤器
流式
传输来自CloudWatch日志组
的
日志流,但我不知道如何正确过滤事件。以下示例将为Elastic Kubernetes Service (EKS)集群在日志组
中
创建订阅过滤器。此日志组包含5x个日志流。
Sub
"arn:aws:lambda:${AWS::Region}:${AWS::AccountId}:function:newrelic-log-ingestion" FilterPattern
Sub
/aws
浏览 28
提问于2021-08-31
得票数 0
回答已采纳
1
回答
在WP
中
访问BackgroundAudioPlayer
的
流数据
c#
、
silverlight
、
windows-phone-7
、
windows-phone-7.1
、
windows-phone-8
有没有可能在WP
中
访问后台音频播放器
的
AudioTrack流数据,
同时
从
远程服务器
进行
流式
传输?我尝试过
使用
媒体流源,但这涉及到为我
的
音频容器(mp4/m4a)实现一个
处理
程序,我正在努力避免这种情况(我需要一个独立于容器
的
解决方案)。 我正在寻找
的
是能够
处理
/操作音频数据
的
同时
,它是流。
浏览 0
提问于2013-02-06
得票数 0
回答已采纳
2
回答
5分钟
Spark
批
处理
作业与流作业
apache-spark
、
spark-streaming
我正在试着找出什么是更好
的
方法。 我有一个火花批
处理
作业,这是计划运行每5分钟,它需要2-3分钟来执行。由于已经添加了对动态分配
spark
.streaming.dynamicAllocation.enabled
的
支持,将其设置为每5分钟
从
源拉取数据
的
流式
作业是一个好主意吗?在流/批
处理
作业之间
进行
选择时,我应该记住哪些事项?
浏览 0
提问于2019-07-24
得票数 0
1
回答
如何加载目录
中
的
一些文件,并在
spark
streaming
中
监控该目录
中
的
新文件而不会丢失?
apache-spark
、
spark-streaming
我想启动一个
spark
流式
作业,加载3.txt,4.txt,然后检测4.txt之后
的
所有新文件。 请注意,由于这些文件很大,
处理
这些文件将需要很长时间。因此,如果我在启动
流式
任务之前
处理
3.txt和4.txt,则在
处理
3.txt和4.txt期间,可能会将5.txt,6.txt生成到此目录
中
。当流任务开始时,5.txt和6.txt将会丢失
进行
处理
,因为它只会
处理
新文件(
从
7.txt开
浏览 0
提问于2015-05-11
得票数 0
1
回答
从
IoT设备
使用
curl发布到主题时出错(谷歌发布/订阅)
google-cloud-pubsub
我有一组运行openwrt linux
的
嵌入式设备,这些设备
使用
POST每3分钟发送数据(json)到URL。随着设备数量
的
增加,我想在对数据
进行
流式
分析之前
使用
google
pub
/
sub
服务来
处理
这些数据POST https://pubsub.googleapis.com", "status": "
浏览 0
提问于2016-05-30
得票数 0
2
回答
AWS -为每个API调用公共任务Lambda
amazon-web-services
、
aws-lambda
、
aws-api-gateway
我们需要为应用程序编写自定义日志,以捕获诸如谁做了什么以及何时做
的
事情。 为此,我们创建了一个Lambda来将日志插入到DynamoDb数据库
中
。我们需要在每次
从
应用程序前端调用API时从一个公共位置调用这个Lambda,而不是在每个单独
的
Lambda
中
调用它。我们尝试在API Gateway Authorizer
中
调用它,但它不起作用,因为我们
的
网关authorizer
的
类型是'Token‘。因此,除了访问令牌之外,它不接受任何其他参数。我
浏览 13
提问于2020-04-21
得票数 0
1
回答
在c++流媒体服务器中
使用
ffmpeg实现视频转换
c++
、
ffmpeg
、
video-streaming
我不能理解如何
使用
libavcodec来转换,例如,
从
avi到h.264。我可以这样在我
的
C++程序中转换视频吗:是否可以
使用
此函数
进行
动态流媒体,而无需等待完成视频转换过程?
浏览 5
提问于2011-07-04
得票数 1
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Spark Streaming 新手指南
5种好用的流计算系统
Spark 2.4重磅发布:优化深度学习框架集成,提供更灵活的流式接收器
基于Spark的大规模推荐系统特征工程
Flink 流式计算在节省资源方面的简单分析
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券