腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(3031)
视频
沙龙
1
回答
如
何在
Amazon
EMR
上
读取
kinesis
数据流
?
amazon-web-services
、
pyspark
、
amazon-emr
、
amazon-kinesis
我有一个包含tweet流的
kinesis
数据流
。我如
何在
pyspark
上
(在
emr
上
)
读取
这个流?我希望能够在此
数据流
上执行操作。Traceback (most recent call last): File "/usr/lib/spark/python/lib/pyspark.zip/pyspark/streaming/
kinesis</e
浏览 35
提问于2020-07-03
得票数 1
1
回答
software.
amazon
.
kinesis
和com.amazonaws有什么区别?
amazon-web-services
、
jar
、
amazon-kinesis
我正在尝试创建一个应用程序,以便从
Kinesis
数据流
中
读取
。MVN存储库包含software.
amazon
.
kinesis
:
amazon
-
kinesis
.client和com.amazonaws:
amazon
-
kinesis
-client.
浏览 2
提问于2019-12-03
得票数 4
回答已采纳
1
回答
AWS Elastic MapReduce和AWS
Kinesis
Data Analytics有何区别?
amazon-web-services
、
apache-flink
、
amazon-emr
、
amazon-kinesis-firehose
Kinesis
Data Analytics是否做了
EMR
不能做的事情,反之亦然?
Amazon
Kinesis
Data Analytics是分析流数据、获得可操作的洞察并实时响应业务和客户需求的最简单方法。
Amazon
Elastic Map Reduce提供了一个托管的Hadoop框架,使其能够轻松、快速且经济高效地跨动态可扩展的亚马逊Hadoop实例处理海量数据。您还可以在
EMR
中运行其他流行的分布式框架,
如
Apache Spark、HBase、Presto和Fl
浏览 29
提问于2019-05-17
得票数 7
1
回答
Firehose、管道、
数据流
的
Kinesis
服务的区别/使用情形是什么
amazon-web-services
、
amazon-kinesis
我对不同的
Kinesis
服务感到困惑,我阅读了以下术语:
Kinesis
Data Stream
Kinesis
Data Analytics谁能告诉我每个服务是什么,或者只是一个昵称?
浏览 63
提问于2019-11-24
得票数 2
1
回答
如何使用
amazon
Rekognition对流视频执行人脸识别?
amazon-web-services
、
amazon-kinesis
、
amazon-rekognition
现在,我想使用
amazon
Rekognition对该视频执行人脸检测/识别如何做到这一点,并使用链接详细解释。谢谢
浏览 1
提问于2019-05-26
得票数 0
1
回答
创建DynamoDB表是为了存储检查点。
spark-streaming
、
amazon-emr
、
amazon-kinesis
我试图在AWS
EMR
上
运行一个普通的蒸汽应用程序。在我的本地机器
上
,一切正常工作。然而,当我在AWS
EMR
集群中运行我的示例时,我得到的是空的RDDs。libraryDependencies += "com.amazonaws" % "
amazon
-
kinesis
-client" % "1.14.8" libraryDependencies += "org.apache.spark" %% "s
浏览 4
提问于2022-07-12
得票数 0
1
回答
将数据添加到配置单元外部表
hadoop
、
hive
、
amazon
、
amazon-kinesis
我正在关注从
Amazon
Kinesis
到
Amazon
EMR
上
的Hive的流式数据教程。我能够成功地用一个Hive内部表做到这一点,但是当我尝试用外部表做同样的事情时,我遇到了一个奇怪的EOF错误。") ([0-9]*) ([0-9]*) ([^ \"]*|\"[^\"]*\") ([^ \"]*|\"[^\"]*\")"STORED AS TEXTFILE'com.
浏览 1
提问于2014-10-02
得票数 1
1
回答
春动消费者太慢了
java
、
spring
、
spring-cloud
、
amazon-kinesis
、
spring-cloud-stream
在Windows 7,Java 8
上
运行的使用者。 <groupId>org.springframework.cloud</groupId> <artifactId>spring-cloud-starter-stream-
kinesis
浏览 2
提问于2018-03-12
得票数 2
回答已采纳
1
回答
不使用lambda将
Kinesis
流数据直接插入或更新到Dynamodb中
amazon-web-services
、
aws-lambda
、
amazon-dynamodb
、
amazon-kinesis
我可以使用lambda做到这一点,但是,我面临着一些滞后的问题,所以通过使用任何亚马逊网络服务,直接将数据插入或更新到DynamoDB是可能的。
浏览 13
提问于2021-06-07
得票数 0
2
回答
无法将AWS Lambda连接到Elastic Search。获取403错误
amazon-web-services
、
elasticsearch
、
aws-lambda
、
aws-elasticsearch
我正在尝试将来自
Amazon
Kinesis
数据流
的流数据加载到
Amazon
ES中,
如
教程中所示:https://docs.aws.
amazon
.com/elasticsearch-service/latest/developerguide/es-aws-integrations.html#es-aws-integrations-
kinesis
正如教程中所给出的,我的lambda函数是: import= 0
浏览 15
提问于2020-12-09
得票数 0
回答已采纳
4
回答
在
EMR
上
不以群集模式工作的动态流示例(
EMR
4.3,Spark1.6)
apache-spark
、
spark-streaming
、
amazon-emr
、
amazon-kinesis
在集群模式下,我试图在
EMR
4.3
上
运行示例的一个版本,但没有成功。具体来说,即使我可以访问流的元数据,也不会从
Kinesis
读取
任何消息。相同的代码确实在相同的
EMR
集群
上
以客户端模式运行(即使用"local*"),但是当我尝试在集群模式下运行时,移动接收器的第一项工作就被卡住了: 在Spark的流页面中,我没有看到任何内容: --我正在寻找关于为什么应用程序不能从
Kinesis
读取
的任何指针,或者建议的配置或设置更改,
浏览 4
提问于2016-03-06
得票数 2
5
回答
Kinesis
Firehose是
Kinesis
Streams的替代品吗?
amazon-web-services
、
streaming
、
amazon-kinesis
、
amazon-kinesis-firehose
Kinesis
Firehose以及
Kinesis
Streams用于根据AWS博客中提到的详细信息加载流数据。在Firehose的情况下,没有分片或维护的概念。在这种情况下,
Kinesis
Firehose是
Kinesis
Streams的替代品吗?
浏览 0
提问于2017-10-15
得票数 3
1
回答
在升级期间翻转流连接
rest
、
http
、
data-stream
我正在开发一个使用
Amazon
Kinesis
的应用程序,我想知道的一件事是,如
何在
升级期间滚动应用程序,而不会丢失
数据流
上的数据。我听说过蓝/绿部署之类的事情,但我想知道升级
数据流
服务的最佳实践是什么,这样你就不会丢失
数据流
中的数据。 例如,我的应用程序有一个HTTP端点,它以一系列POST操作的形式接收数据。
浏览 2
提问于2015-03-25
得票数 0
1
回答
如
何在
AWS
EMR
中停止长时间运行的spark流步骤
amazon-web-services
、
apache-spark
、
spark-streaming
、
emr
、
amazon-emr
我使用AWS
EMR
进行spark流媒体。我在
EMR
中添加了一个从
Kinesis
流
读取
数据的步骤。我需要的是一种方法来停止这个步骤并添加一个新的步骤。因此,当有新的工件时,一条消息被放入SQS,
EMR
读取
它并停止该步骤。Chef然后使用
EMR
API添加一个新步骤。 我的问题是,这是在
EMR
中停止长时间运行的流作业的正确方法吗?如果spark部署在独立的集群
上
,而不是
EMR
上
,这将如何处理?
浏览 10
提问于2016-09-13
得票数 1
1
回答
SQS或
Kinesis
哪一种适合排队?
amazon-web-services
、
api
、
amazon-sqs
、
amazon-kinesis
并
读取
一组请求(即20)并进行批处理。怎样才是最理想的方法呢?使用SQS,或运动。我完全糊涂了。
浏览 3
提问于2019-02-26
得票数 2
回答已采纳
2
回答
如
何在
流模式下将数据从AWS加载到Google BigQuery?
google-bigquery
、
streaming
、
aws-rds-data-service
如
何在
流模式下将数据从AWS加载到Google BigQuery?描述:我有RDS ( Server)中的数据,并希望将这些数据实时加载到Google BigQuery中。
浏览 9
提问于2020-02-18
得票数 1
回答已采纳
2
回答
在
Amazon
EMR
上
安装Impala 2.3
amazon-web-services
、
cloudera-cdh
、
amazon-emr
、
impala
、
cloudera-manager
Impala2.2可以安装在
Amazon
EMR
上
,因为GitHub上有Bootstrap脚本&您不需要安装Cloudera.但是,我没有看到任
何在
Amazon
EMR
上
安装Cloudera CDH 5.5或5.6的方法。我想安装Impala 2.3,那么有什么方法可以在
Amazon
EMR
上
安装Impala 2.3吗?
浏览 0
提问于2016-03-17
得票数 2
3
回答
在AWS中,从SNS发送消息到SQS的替代方案是什么?
amazon-web-services
、
message-queue
、
amazon-sqs
、
amazon-sns
在这种情况下,我使用
Amazon
+ SQS来处理域事件。 基本
上
,在域事件
上
,我向SNS发布了一条消息,并且订阅了两个SQS队列。
浏览 5
提问于2020-07-13
得票数 0
1
回答
Kinesis
流未获取日志
amazon-web-services
、
amazon-athena
、
amazon-kinesis
我正在接收
Kinesis
数据流
中的cloudtrail日志。我正在调用一个流处理lambda函数,就像here描述的那样。然后将返回到流的最终结果存储到S3存储桶中。configurationlogger = logging.getLogger() return events def ha
浏览 15
提问于2021-04-29
得票数 0
1
回答
在集群模式下运行火花运动流应用程序时出错(
Amazon
)
apache-spark
、
cluster-computing
、
spark-streaming
、
amazon-emr
我有一些严重的困难,试图运行一个火花运动流应用到亚马逊的
EMR
集群(1名主人,3名工人)。此外,这是我的代码和我的构建sbt。amazonaws.com"
浏览 2
提问于2017-01-18
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Invent 2021亚马逊云科技新输出:芯片、5G、Serverless、机器学习、大机迁移……
2021 re:Invent ,我们到底该关注哪些发布?
Spark Streaming 2.2.0 Input DStreams和Receivers
如何构建智能湖仓架构?亚马逊工程师的代码实践
走进大数据 Spark Streaming
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券