批量上传实时流量到S3

文章/答案/技术大牛

发布

0回答

amazon-s3、apache-kafka、real-time、batch-processing、bigdata

我正在寻找一些关于在大数据规模上实施归档工作流的建议/解决方案。数据来源为kafka中的消息。它是实时写入的。目标为S3存储桶。我需要根据message中的字段对数据进行分区。

浏览 5提问于2017-06-13得票数 2

1回答

近实时查看AWS云前端日志的方法

amazon-web-services、amazon-s3、amazon-cloudfront

我已经配置为将Cloudfront日志发送到S3桶。但是，S3桶中的日志文件依次显示为.gz文件。谢谢!

浏览 2提问于2020-03-30得票数 1

回答已采纳

1回答

我是否可以每隔几分钟使用Amazon Kinesis连接到amazon redshift以加载数据

amazon-redshift、amazon-kinesis

从许多来源中，我计划使用Amazon kinesis来捕获流，在经过一定级别的数据转换后，我希望将流定向到某个表模式中的Redshift Cluster。在这里，我不确定这是不是正确的方法？然而，我也发现，如果我们采用批量上传，那么Redshift看起来会更好，因为数据仓库系统需要索引。因此，建议将所有流存储到S3，然后复制命令以在redshift上进行批量推送。

浏览 1提问于2014-06-14得票数 2

1回答

亚马逊网络服务ElasticSearch加载流数据

json、amazon-web-services、amazon-s3、aws-lambda、amazon-elasticsearch

我正在按照这个加载实时网络流量数据到S3，配置Lambda加载到ES域索引。目前，对于每条记录，我在名为{GUID}.json的S3存储桶中创建了一个新的json文件，该文件只包含一行。例如：因此，当它上线时，它将上传S3存储桶中的数百万个json文件

浏览 2提问于2016-09-14得票数 0

1回答

Microsoft在没有web服务器的情况下按需流畅地流

iis、amazon-s3、amazon-cloudfront、smooth-streaming、smooth-streaming-player

我正在构建一个移动应用程序，该应用程序使用ExoPlayer为安卓提供视频流。我的想法是使用流畅的流媒体文件流。我发现.ismc文件包含manifest详细信息。这真的有用吗？

浏览 0提问于2015-01-15得票数 0

回答已采纳

1回答

HLS实时流服务器

python、video-streaming、html5-video、http-live-streaming、live-streaming

我计划在python中为一个小项目使用HLS协议编写自己的实时流服务器。我的想法是使用Amazon作为存储，让python只输出S3文件。这一切都很简单，现在是问题:我想通过不可靠的网络从摄像机上传输实时视频，如果出现拥塞，播放机可能会完成对m3u8文件中引用的最后一个文件的播放。我是否可以在某种程度上将流标记为活动流，让播放机在特定的时间内重新加载m3u8，寻找下一个段，或者如何使用HLS处理实时流？也许HLS上的实况流<

浏览 3提问于2021-08-23得票数 0

回答已采纳

1回答

我们是否可以使用S3批量上传器更新AWS海王星中图形的现有节点和边的属性

amazon-s3、gremlin、graph-databases、amazon-neptune

我知道使用AWS批量上传工具，我们可以在S3海王星GraphDB中创建新的顶点和边。我想知道的是，是否可以使用S3 CSV批量上传器更新海王星图中的边和节点的一些属性。

浏览 16提问于2020-08-15得票数 0

1回答

将ffmpeg的输出上载到AWS S3

amazon-web-services、amazon-s3、ffmpeg、live-streaming

我正在尝试遵循windows命令目标是读取一个实时流，继续生成帧，一旦我得到第一个帧，就将它传输到AWS S3桶中。所以这将是连续的上传过程。你能帮忙吗？

浏览 0提问于2018-06-07得票数 1

2回答

如何使用AWS CLI (Dos)将文件名中包含空格的文件从一个存储桶复制到另一个存储桶

amazon-web-services、amazon-s3、aws-cli

我正在尝试使用AWS命令行通过相同的My CV 2017.pdf将文件从一个AWS存储桶复制到另一个存储桶。但是我在这样做的时候遇到了错误。

浏览 0提问于2017-10-29得票数 18

回答已采纳

1回答

我可以用AWS在aws S3上使用事务性文件删除/上传吗？

ruby、amazon-s3

我想知道是否有可能在事务中从AWS S3上传/删除文件，如： # write into files在引发异常后，应该在S3上回滚每个操作。

浏览 3提问于2013-07-31得票数 8

回答已采纳

1回答

如何将实时视频上传到AWS S3桶

amazon-web-services、amazon-s3、video-camera

我正在尝试上传一个实时视频流从摄像机到AWS的S3桶。这里假设像目标IP或域这样的相机设置是完全可控的。但我不知道如何在AWS服务上实现这一点。如有任何建议，将不胜感激。提前谢谢。

浏览 7提问于2022-08-30得票数 0

回答已采纳

1回答

我可以像Google Colab一样使用AWS Sagemaker吗？

jupyter-notebook、google-colaboratory、amazon-sagemaker

我不想使用任何高级功能或自动化。我只想要一个Python Notebook，它可以访问云GPU，并且是持久的，这样我就可以关闭我的笔记本电脑，它将继续在云中运行。我知道Sagemaker是一项付费服务，但Colab有时并不适合我:我需要让我的笔记本电脑保持运行，只有有限的配额和会话超时的可能性。

浏览 111提问于2021-09-28得票数 1

3回答

如何使用Python高效地将小文件上传到亚马逊S3

python、amazon-web-services、amazon-s3、coroutine

最近，我需要实现一个程序，以上传文件驻留在亚马逊EC2到S3在Python中尽可能快。文件大小为30KB。我已经尝试了一些解决方案，使用多线程，多处理，协同例程。

浏览 60提问于2014-12-15得票数 17

1回答

如何下载Appfog中的全部网站内容？

wordpress、paas、appfog

我们确实推荐用户上传和静态媒体内容，特别是对于Wordpress，使用像Amazon S3这样的CDN来存储这些文件。

浏览 4提问于2012-12-20得票数 1

回答已采纳

2回答

适用于PHP的Amazon AWS服务器持久存储

php、amazon-web-services、amazon-elastic-beanstalk

我使用ElasticBeanstalk在Amazon AWS上部署了一个新的PHP应用程序。我面临的问题是，只要EC2实例终止，我在uploads文件夹中的数据就会被删除。即使销毁EC2实例或创建新实例，如何保留数据。

浏览 2提问于2012-07-16得票数 2

回答已采纳

1回答

无法将AWS动态数据存档到冰川

amazon-web-services、amazon-s3、aws-sdk、amazon-kinesis、aws-sdk-java-2.0

我将这些文件存储在archive中，几个小时后，我将数据刷新到S3 (因为我找不到一种直接的方法将数据从)，并在结束时使用S3生命周期管理将所有对象归档到Glacier。是否有可能在一天结束时将Kinesis配置为将数据刷新到S3/Glacier？到目前为止，Kinesis是否有任何时间或内存限制可以保存数据？如果有人能抽出时间回答我的问题，并

浏览 0提问于2018-06-27得票数 2

回答已采纳

2回答

如何将大文件从HDFS上传到S3

hadoop、amazon-web-services、amazon-s3、hdfs

在将一个大文件(大于5GB)从HDFS上传到S3时，我遇到了一个问题。有没有一种方法可以直接将文件从HDFS上传到S3，而无需将其下载到本地文件系统并使用多部分？

浏览 5提问于2016-01-07得票数 1

回答已采纳

1回答

如何将麦克风音频从浏览器流到S3

amazon-web-services、amazon-s3、amazon-kinesis、amazon-kinesis-firehose、amazon-kinesis-video-streams

我想将麦克风音频从网络浏览器传输到AWS S3。> {});有没有一种方法，我们可以直接流网络音频到S3，而它正在进行？我试过但却找不到一个有用的例子：

浏览 12提问于2022-02-07得票数 0

2回答

从raspberry pi CSV文件到BigQuery表的数据流

google-cloud-platform、google-bigquery、airflow、google-cloud-dataflow

目前，我们有一个使用进行批量上传的python脚本，我手动运行它。其目标是以一种简单的方式拥有流数据(或每15分钟一次)。我探索了不同的解决方案：请您帮助我，并向我建议最好的方法，将CSV文件推入bigquery表中的实时或每15分钟？

浏览 9提问于2022-09-21得票数 0

1回答

将视频文件从URL大容量上传到亚马逊S3

amazon-s3

在谷歌搜索之后，似乎没有任何API或工具可以直接将文件从URL上传到S3，而无需先下载它们？或者，我是否可以在共享主机帐户上安装任何PHP脚本，一次下载一个文件，然后上传到S3？

浏览 5提问于2012-02-07得票数 4

点击加载更多