腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(278)
视频
沙龙
2
回答
使用
firehose
将
推
特
数据
流式
传
输到
S3
存储
桶
python
、
amazon-s3
、
twitter
、
boto3
、
amazon-kinesis-firehose
我正在尝试将来自twitter的
数据
流式
传
输到
aws
存储
桶
。好消息是,我可以让
数据
流到我的
存储
桶
中,但
数据
是以大约20KB的块形式出现的(我认为这可能是因为一些消防设置),而且即使在我
使用
JSON.LOAD在python代码中指定了JSON之后,它也没有保存为JSON我的
S3
存储
桶
中的
数据
看起来没有文件扩展名,而是有很长的字母数字字符串。我认为这
浏览 26
提问于2020-09-23
得票数 0
回答已采纳
2
回答
使用
AWS Lambda在
S3
中连接文件
amazon-s3
、
aws-lambda
、
concatenation
、
aws-sdk
、
amazon-kinesis-firehose
有没有办法
使用
Lambda进行
S3
文件连接?我以最长的时间间隔(15分钟或128mb)
将
数据
传
输到
S3
中,因此我每天有96个
数据
文件,但我希望
将
所有
数据
聚合到单个每日
数据
文件中,以便稍后在Spark (EMR)中读取
数据
时获得最快的性能。我创建了一个解决方案,当
Firehose
将
新文件
流式
传
输到
S3
中时,<em
浏览 0
提问于2016-09-21
得票数 5
1
回答
数据
管道(DynamoDB到
S3
) -如何格式化
S3
文件?
amazon-web-services
、
amazon-s3
、
amazon-dynamodb
、
amazon-data-pipeline
我有一个
数据
管道,它将我的DynamoDB表导出到
S3
存储
桶
中,这样我就可以
将
S3
文件用于QuickSight、雅典娜和预测等服务。但是,为了让我的
S3
文件与这些服务一起
使用
,我需要将该文件格式化为csv格式,如下所示:1589529457410, PLoS Genetics, 10.1371/{"s":"1589833552714"},"journal&
浏览 5
提问于2020-05-25
得票数 2
1
回答
如何
将
音频
存储
到db/s3bucket并
流式
传
输到
我的spring boot应用程序/侦听器
amazon-web-services
、
spring-boot
、
audio-streaming
、
audio-recording
、
data-storage
音频以300ms块的形式
流式
传
输到
我的应用程序中进行处理。如何
将
整个音频
存储
到db或
s3
存储
桶
中,同时保持无状态?AUdio与其他信息一起
流式
传输,如会话is和捕获时间。我想累积整个音频,并将其保存到db或
s3
存储
桶
中。AWS Kinesis在此方案中是否有帮助? 我有听众设置,阅读300毫秒的这段音频。我想将整个音频
存储
到
数据
库或
s3
存
浏览 27
提问于2019-08-06
得票数 0
回答已采纳
1
回答
从JavaDstream获取JavaRdd
java-8
、
apache-kafka
、
spark-streaming
我正在构建一个web应用程序,在那里我
将
推
特
数据
流式
传
输到
JavaDStream,然后
将
这些
数据
存储
到kafka中。我想从JavaDStream获得JavaRdd,并将这些
推
特
数据
存储
到kafka服务器。但是我不知道如何从
数据
流中获取Rdd。下面是我的参考代码。
浏览 0
提问于2018-03-12
得票数 0
1
回答
ResourceNotFoundException:在帐户下找不到流
amazon-web-services
、
amazon-s3
、
amazon-kinesis
、
amazon-kinesis-firehose
我正在尝试
使用
kinesis
firehose
在亚马逊网络服务中创建一个简单的流,以
将
数据
流式
传
输到
s3
存储
桶
。流和
存储
桶
都位于中指定的us-east-1。我仔细检查了
存储
桶
和流的地域是否相同,并仔细检查了流的名称。对于如何从python -> kinesis ->
s3
中创建一个简单的流,我有什么建议可以尝试吗? 谢谢大家!
浏览 28
提问于2021-05-27
得票数 0
回答已采纳
1
回答
EKS
将
日志作为字符串记录到CloudWatch流
python
、
amazon-web-services
、
elasticsearch
、
kubernetes
、
amazon-eks
我遇到了这个问题,我有一个EKS集群,它将日志发送到Cloudwatch,然后
Firehose
将
日志
流式
传
输到
s3
存储
桶
。我的目标是从
s3
获取这些日志,并将它们批量转发到elasticsearch。我写了一个python lambda函数,当日志是json时,它工作得很好。我的问题是有些日志是字符串或“某种”JSON。error: etcdserver: mvcc: required revision has been compacted 我想知道是否
浏览 21
提问于2019-09-13
得票数 0
回答已采纳
3
回答
使用
AWS Kinesis
Firehose
写入
S3
存储
桶
中的特定文件夹
amazon-web-services
、
amazon-s3
、
aws-lambda
、
amazon-kinesis
、
amazon-kinesis-firehose
我希望能够发送
数据
到kinesis
firehose
根据
数据
里面的内容。例如,如果我发送以下JSON
数据
: "name": "John",} 我想根据id过滤
数据
,并将其发送到我的
s3
存储
桶
的子文件夹中,如:
S3
://myS3Bucket
使用
Kinesis
Firehose
或AWS
浏览 2
提问于2018-05-15
得票数 9
1
回答
Kinesis
数据
防火墙和胶水竞争条件
amazon-web-services
、
amazon-kinesis-firehose
我们
使用
Kinesis Data
Firehose
将
RDS CDC
数据
作为原始json文件写入
S3
存储
桶
。我们的Kinesis
Firehose
配置为128 MB,需要60秒来创建
S3
文件。我们有一个胶水作业,它监视
s3
存储
桶
并拾取这些json文件。我们有一个问题,即我们是否会在当前由Kinesis
Firehose
和Glue编写的json文件之间遇到竞争条件。
浏览 0
提问于2020-05-27
得票数 0
5
回答
Kinesis
Firehose
是Kinesis Streams的替代品吗?
amazon-web-services
、
streaming
、
amazon-kinesis
、
amazon-kinesis-firehose
Kinesis
Firehose
以及Kinesis Streams用于根据AWS博客中提到的详细信息加载流
数据
。在
Firehose
的情况下,没有分片或维护的概念。在这种情况下,Kinesis
Firehose
是Kinesis Streams的替代品吗?
浏览 0
提问于2017-10-15
得票数 3
2
回答
使用
复制命令
将
数据
从亚马逊
S3
加载到红移-如何在红移中
存储
复制时间
amazon-web-services
、
amazon-s3
、
amazon-redshift
我正在
使用
Amazon
Firehose
流式
传输在线
数据
,
使用
Lambda应用转换,并通过
S3
将
数据
加载到Redshift。
Firehose
中的COPY命令为:我想知道<e
浏览 4
提问于2017-07-18
得票数 0
1
回答
有没有办法用python把
数据
块写到aws
s3
上?
python
、
python-3.x
、
amazon-web-services
、
amazon-s3
我当前正在构建的应用程序接口
将
文件从一个端点保存到我的EC2实例。我想将文件直接保存到
S3
,但在
将
数据
块
流式
传
输到
S3
时遇到了问题。return log.error(msg)修改后的程序在
S3
存储
桶
中创建目录和文件,但实际的txt文件有0字节,因此它没有正确地
将</
浏览 7
提问于2019-07-10
得票数 0
1
回答
Kinesis
Firehose
KMS加密
amazon-s3
、
amazon-kinesis-firehose
、
aws-kms
我正在设置一个到
S3
的Kinesis
Firehose
传递流,我注意到你可以设置一个自定义的KMS密钥来加密
S3
上的文件。 但是,如果
S3
存储
桶
已启用KMS加密,则无论如何都会对文件进行加密。当然,不同之处在于,将
使用
默认的亚马逊网络服务管理器
S3
KMS密钥,而不是提供给
Firehose
的客户管理的自定义KMS密钥。相对于依赖默认的
S3
KMS密钥,通常
使用
自定义KMS密钥对
S3
浏览 19
提问于2018-12-13
得票数 4
回答已采纳
3
回答
将
s3
数据
迁移到谷歌云
存储
amazon-s3
、
google-bigquery
、
google-cloud-storage
我需要抓取
存储
在亚马逊
S3
上的日志文件,并将其加载到谷歌云
存储
中。一旦
数据
在Google Cloud Storage中,我可能需要执行一些转换,并最终将
数据
导入BigQuery进行分析。我尝试
使用
gsutil作为某种概念的证明,因为boto隐藏在gsutil之下,我想在我的项目中
使用
boto。这不起作用。 我想知道是否有人设法在两个云之间直接传输文件。
浏览 1
提问于2012-11-28
得票数 5
1
回答
如何将来自亚马逊Kinesis
数据
防火墙的流
数据
存储
到
s3
存储
桶
amazon-s3
、
aws-lambda
、
amazon-athena
、
amazon-kinesis-firehose
、
data-stream
我
使用
redis在亚马逊网络服务中
使用
ElastiCache,以便从我的网站
存储
一些用户
数据
。此解决方案不可扩展,我希望
使用
Amazon Kinesis data
Firehose
进行自动缩放流输出,
使用
AWS Lambda修改我的输入
数据
,将其
存储
在
S3
存储
桶
中,并
使用
AWS Athena访问它我已经用谷歌搜索了几天,但我真的不知道Amazon Kinesis
浏览 3
提问于2020-04-14
得票数 0
1
回答
为什么我选择亚马逊
S3
作为目的地时需要提供亚马逊Redshift
存储
桶
?
amazon-kinesis-firehose
为什么kinesis
firehose
需要先将
数据
放入
s3
存储
桶
中,然后再
使用
copy命令
将
数据
放入Redshift?
浏览 11
提问于2019-02-27
得票数 0
1
回答
MQTT主题和kafka主题映射
apache-kafka
、
mqtt
、
apache-kafka-connect
、
mosquitto
由于每个工具都在单个组织内的MQTT代理中以其自己的主题发送
数据
,因此我希望
将
所有这些
数据
推送到kafka中。现在我知道用kafka创建这么多主题(超过一百万)是不可取的。此外,我不想将所有车辆
数据
保存在一个卡夫卡主题中,因为我希望稍后
将
所有这些
数据
放在
S3
中,通过车辆id进行区分。 我如何才能做到这一点,而不是在kafka中创建如此多的主题。一种方法是kafka的消费者
将
事件分离并放入
S3
中,但我相信在
s3
中会有很
浏览 19
提问于2019-11-28
得票数 1
1
回答
使用
AWS kinesis-
firehose
将
数据
写入文件
amazon-web-services
、
amazon-s3
、
amazon-kinesis
、
amazon-kinesis-firehose
我有一个节点应用程序,它
使用
firehose
流
将
数据
写入
s3
。我
使用
putRecord方法来实现同样的目的。对象成功进入
s3
存储
桶
。但是,我希望
将
数据
写入文件(.txt格式),而不是对象。有没有什么方法可以
将
流以文本文件的形式写入
s3
?从kinesis-
firehose
更新
s3
对象。有时
firehose
会将多个
浏览 14
提问于2021-02-24
得票数 0
1
回答
从url直接下载(一批)文件到亚马逊网络服务
s3
存储
桶
amazon-web-services
、
amazon-s3
、
amazon-ec2
我正在
使用
一个应用程序接口()来下载大量(100+)的大文件(每个大约5 5GB),并且我想将这些文件
存储
在一个亚马逊网络服务
s3
存储
桶
中。我的第一次迭代是
将
文件下载到本地,并
使用
AWS CLI将它们移动到一个
S3
存储
桶
中:aws
s3
cp <local file>
s3
://<mybucket>,这是可行的。为了避免在本地下载,我<e
浏览 2
提问于2021-01-06
得票数 0
1
回答
在QLDB中获取整个分类帐历史记录
sql
、
amazon-qldb
、
partiql
有没有办法获得整个账本的历史记录,而不是在QLDB中获取表级的历史记录?
浏览 28
提问于2021-03-10
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Serverless Streaming:毫秒级流式大文件处理探秘
AWS 瘫痪:DNS 被 DDoS 攻击了 15 个小时
AWS发布新的S3智能分层归档访问层,降低用户使用成本
为什么BAT互联网都爱用kafka?看完你就知道了
详解数据湖:概念、特征与架构
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券