腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(6159)
视频
沙龙
1
回答
使用
Apache
Spark
3
从
Cosmos
DB
流式
传输
数据
、
、
、
、
使用
Spark
2连接器
从
CosmosDB流媒体可以
使用
Changefeed实现。https://docs.microsoft.com/en-us/azure/
cosmos
-
db
/
spark
-connector#streaming-reads-from-
cosmos
-
db
我们如何在
Spark
3
中做同样的事情?我正在
使用
浏览 35
提问于2021-04-28
得票数 2
3
回答
从
CSV文件到python的实时
数据
流
、
、
我有一个CSV文件,其中包含在几分钟内记录的来自随机传感器的
数据
。现在,我想将CSV文件中的
数据
流式
传输
到pyhton代码中,就好像它直接
从
传感器本身接收
数据
一样。(代码是
从
两个不同的传感器/csv文件中获取读数并取其平均值)有人建议
使用
Apache
Spark
来
流式
传输
数据
,但我觉得这对我来说太复杂了。有没有更简单的解决方案?
浏览 27
提问于2017-01-18
得票数 5
1
回答
如何
使用
Spark
-streaming进行实时日志分析??(我附加架构镜像)
、
、
Spark
streaming应用程序实时接收来自大量IoT设备的
数据
。但它们都是少量的
数据
。整体流程看起来像是-> Iot -> Kafka(1个主题/所有
数据
) ->火花流(过滤错误日志) ->
DB
(保存) ->警报屏幕 有没有
使用
spark
或python进行实时日志分析的好方法?
浏览 13
提问于2020-11-19
得票数 0
回答已采纳
1
回答
S
3
目录上的
Spark
流
、
、
、
、
因此,我有成千上万的事件通过Amazon Kinesis
流式
传输
到SQS,然后转储到一个S
3
目录中。大约每隔10分钟,就会创建一个新的文本文件,将Kinesis中的
数据
转储到S
3
中。我想设置火花流,以便它流的新文件被转储到S
3
。现在我有val currentFileStream = ssc.textFileStream("s
3
://
浏览 0
提问于2015-06-23
得票数 5
回答已采纳
1
回答
将Cosmosdb中的
数据
推送到CRM中并执行更新的逻辑App
、
、
、
我已经创建了一个逻辑应用程序,目标是
从
cosmosdb内的容器中提取
数据
(
使用
查询),循环结果,然后将这些
数据
推送到CRM (或通用
数据
服务)中。推送到CRM时,会生成一个ID。下一步是查询cosmosdb
数据
库中的
数据
,并选择长度大于15的所有IDS (这告诉我们ID还不在CRM
数据
库中)。 ? 然后我们循环结果并将其推送到客户关系管理(Dynamics365或公共
数据
服务)中。 ? 两难境地:这个过程的第一部分似乎是
浏览 12
提问于2020-07-25
得票数 0
1
回答
获取路径:在
Apache
Spark
/ Databricks中尝试
流式
数据
时,TypeError只能是单个字符串
、
、
我正在尝试在Databricks上的
Apache
Spark
中测试流
数据
。thestream =
spark
.read.parquet('/mnt/lake/RAW
浏览 12
提问于2021-05-13
得票数 0
2
回答
Azure Synapse -如何
从
同一集合中包含多个类型的Azure
Cosmos
DB
容器中读取
数据
?
、
我在Azure
Cosmos
DB
中有一个容器,在同一个容器中有多个文档类型。因此,根据类型,密钥对会发生变化。我正在尝试
使用
以下代码
从
Synapse的这个容器中读取
数据
: cfg = {"
spark
.
cosmos
.accountKey": accountKey, "
spark
.<e
浏览 58
提问于2021-10-28
得票数 0
回答已采纳
1
回答
使用
scala
从
IntelliJ连接到Azure CosmosDB时无法绕过代理
、
、
、
、
我正在尝试
使用
scala语言
从
intelliJ连接到azure
cosmos
DB
。下面是我尝试
浏览 0
提问于2019-08-09
得票数 0
1
回答
将BsonDocument写入MongoDB
Spark
Scala
、
、
我想将
数据
保存到MongoDB中,同时
从
推特上
流式
传输
数据
。"org.
apache
.kafka" %% "kafka" % "1.1.0", "org.
apache
.
spark</em
浏览 2
提问于2018-05-27
得票数 0
1
回答
从
Databricks写入Azure
cosmos
DB
时出现问题
、
、
、
、
我正在尝试将
数据
从
Spark
(
使用
Databricks)写入Azure
Cosmos
DB
(Mongo
DB
)。执行notebook时没有错误,但查询集合时出现以下错误。我已经
使用
了来自
数据
库网站azure-cosmosdb-
spark
_2.4.0_2.11-2.1.2-uber.jar.的jar我的版本是6.5 (包括
Apache
Spark
2.4.5,Scala2.11)
浏览 4
提问于2020-06-12
得票数 0
1
回答
Spark
Structured来自Cassandra
、
我
使用
结构化
数据
流
从
Kafka
流式
传输
数据
.readStream .option("kafka.bootstrap.serversException in thread "main" org.
apache
.
spark
.sql.AnalysisException: Queries with st
浏览 0
提问于2018-11-16
得票数 1
2
回答
如何
从
Databrick/PySpark覆盖/更新Azure
Cosmos
DB
中的集合
、
、
、
我在Databricks上编写了以下PySpark代码,它成功地用代码行将结果
从
sparkSQL保存到Azure
Cosmos
DB
:完整的代码如下: Sa
浏览 2
提问于2020-02-02
得票数 0
回答已采纳
1
回答
cosmos
到ADLS的
数据
归档
、
、
、
、
我正在处理物联网
数据
,我每隔1秒就会
从
每个设备上获取
数据
。这是通过IOT集线器,然后在Azure函数中处理,最后存储在
Cosmos
DB
中。但这些
数据
正在增长到大规模,所以我想在
cosmos
中设置5天的TTL,并将
数据
归档到ADLS中,可以定期完成,一天两次或一天一次。但是我不能确定我是否应该编写一个
spark
作业来完成这个
传输
,或者
使用
任何其他健壮和优化的方法?我想要一些关于我可以在这个用例中<e
浏览 3
提问于2019-07-31
得票数 0
1
回答
Couchbase Elasticsearch插件在推流前转换
数据
、
、
我有两个couchbase集群,我想
使用
以下ES-Couchbase插件将集群中的文档的合并版本推送到elastic search: 在通过插件将
数据
传输
到elastic search之前,我还找不到任何有关更改或修改couchbase
数据
的文档。
浏览 14
提问于2016-09-11
得票数 1
回答已采纳
2
回答
如何修复"DocumentDB
数据
迁移工具“
、
、
、
我正在
使用
DocumentDB
数据
迁移工具将AWS DynamoDB
数据
迁移到Azure CosmosDB,但是对于大型表
数据
,我得到了一个错误。看来DocumentDB
数据
迁移工具的最大
数据
传输
容量是500 k字节,但是我有一个dynamo表,它的
数据
大约为315 Mb。那么,还有其他方法/工具可以将
数据
从
Dynamo
DB
传输
到
cosmos
浏览 2
提问于2019-01-24
得票数 1
回答已采纳
3
回答
如何
使用
Azure宇宙
DB
连接器写入CosmosDB?
、
、
、
添加到集群中的库版本是:我的代码如下: .start这将导致错误: 命令-751666472135258:74: error:重载的方法值选项(选项: String)org.
apache
.
spark
.sql.streaming.DataStreamWriterorg.
apache
.
sp
浏览 8
提问于2019-11-20
得票数 1
2
回答
Spark
Streaming推特createStream问题
、
我试着用
Spark
Streaming
从
Twitter上
流式
传输
数据
。但是import twitter4j.auth._import org.
apache
.
spark
.streaming{Seconds,StreamingContext} import org.
apache</
浏览 4
提问于2017-06-15
得票数 0
1
回答
将Neo4j迁移到
Cosmos
DB
图形库
、
将Neo4j
数据
迁移到
Cosmos
Graph
DB
的最简单方法是什么?
Cosmos
DB
的迁移工具还不支持Graph/Gremlin API。
浏览 13
提问于2019-03-11
得票数 1
回答已采纳
1
回答
将
数据
库或容器
从
Azure
Cosmos
DB
导出到我的本地存储
、
Azure
Cosmos
DB
有一个
从
本地存储到
数据
库的import选项,但是它没有这样的export选项。 我想知道将
数据
库或容器直接导出到本地存储(json文件)的所有可能方法。
浏览 2
提问于2019-11-26
得票数 0
回答已采纳
1
回答
当
使用
netcat处理
spark
streaming中的日志时,它会丢弃最后几行吗?
、
、
我有一个
spark
-streaming服务,在那里我正在处理和检测基于某个离线生成的模型的异常。我
从
日志文件向此服务提供
数据
,日志文件
使用
以下命令进行
流式
传输
在这里,
spark
流服务
从
端口9999获取
数据
。但是,我观察到最后几行正在被丢弃,即
spark
streaming没有接收到这些日志行,或者它们没有被处理。对于将日志
数据</em
浏览 0
提问于2016-02-09
得票数 1
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Spark Streaming 新手指南
Spark 2.4重磅发布:优化深度学习框架集成,提供更灵活的流式接收器
什么是 Apache Spark?大数据分析平台详解
Apache Spark 2.3 加入支持Native Kubernetes及新特性文档下载
五大最佳数据框架的快速比较
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券