如何将RabbitMQ消息以csv文件格式传输到亚马逊S3存储桶中，并使用雅典娜查询存储桶？

文章/答案/技术大牛

发布

1回答

amazon-web-services、csv、amazon-s3、rabbitmq、amazon-athena

我正在开发一个能够读取RabbitMQ消息并将其传输到亚马逊S3存储桶中的硬应用程序。 RabbitMQ消息应该以.csv文件格式存储在S3存储桶中。亚马逊S3存储桶应连接到AWS Athena以对其进行查询</e

浏览 13提问于2019-04-15得票数 0

1回答

亚马逊雅典娜如何从S3选择新文件/记录

amazon-web-services、aws-lambda、amazon-athena

我不时地在亚马逊S3上添加文件，我正在使用亚马逊雅典娜对这些数据执行查询，并将其保存在另一个S3存储桶中作为CSV格式(聚合数据)，我正在尝试找到方法让雅典娜只选择新数据(这是雅典娜以前没有查询过的)，以优化成本并避免数据重复。我尝试在被雅典娜选中后更新记录，但在雅典娜<em

浏览 18提问于2020-09-07得票数 1

回答已采纳

2回答

查看S3分析时是否考虑对雅典娜的查询？

amazon-web-services、amazon-s3、data-warehouse、amazon-athena

我有几个按日期分区的雅典娜数据库和表。我想将底层的S3存储桶移动到不同的存储类中，这取决于这些表的查询频率。我正在考虑在这些表的底层存储桶上启用S3存储类分析。我想知道在使用亚马逊S3分析查看底层S3存储桶的数据访问模式时，是否会显示对这些表/分区的雅典娜查

浏览 33提问于2020-07-17得票数 0

回答已采纳

1回答

在雅典娜中查询另一个亚马逊网络服务账户的S3存储桶中的数据时，访问被拒绝

amazon-web-services、amazon-s3、web-crawler、aws-glue、amazon-athena

我想使用胶水爬虫从S3存储桶中抓取数据。此S3存储桶在另一个亚马逊网络服务账户中。我们调用帐户A。我的胶水爬虫程序在帐户B中。在拥有S3存储桶的账号A中，我附加了以下存储桶策略： "Version": "2012-10-17", "

浏览 0提问于2020-04-10得票数 0

2回答

如何确保雅典娜生成具有bucket-owner-full控制S3对象

amazon-web-services、amazon-s3、permissions、amazon-athena

我们(帐户A)想通过编程的方式在不同的亚马逊网络服务帐户(帐户B)中触发雅典娜查询(StartQueryExecution)，我们使用假定的角色来实现。在雅典娜查询完成后，我们期望结果应该写入我们的亚马逊网络服务帐户s3存储桶(帐户A)。我们设法做到了这一点，方法是设置两端IAM策略，允许B写入A的S3存储桶。但是，帐户A中的<

浏览 1提问于2019-06-13得票数 3

4回答

允许雅典娜查询S3存储桶

amazon-s3、amazon-athena

我有这个存储桶策略，它工作正常。唯一的问题是它不允许雅典娜查询。如何将其修改为所有的雅典娜？"Deny", "AWS": "*" "Action": "s3:*", "Resour

浏览 0提问于2019-04-05得票数 1

3回答

从Amazon DMS到S3再到Redshift的ETL数据

python、amazon-web-services、amazon-s3、amazon-redshift、etl

我目前正在S3中构建一个数据湖，并且已经成功地使用DMS将数据从mysql迁移到S3。在DMS中，我选择了“迁移现有数据并复制正在进行的更改”选项。我将数据转换为csv，但将来可能会选择拼花。此方法创建一个初始csv文件，其中包含来自数据库表的所有原始数据。然后，它创建具有插入、删除和更新功能的后续csv文件。现在我正在寻找一种将数据从S3复制到Redshift的策略。我正在寻找一种复制批量数据的策略，并将

浏览 1提问于2017-11-12得票数 0

3回答

亚马逊网络服务雅典娜上的AccessDenied

amazon-web-services、amazon-s3、amazon-athena

当我在AWS Athena上运行一个简单的select *查询时，我得到了一个拒绝访问的错误。查询为：架构是： sig string,然而，我甚至向每个人公开了存储桶

浏览 0提问于2019-06-26得票数 3

1回答

如何使用Terraform修改雅典娜的主要工作组配置？

terraform、amazon-athena、aws-glue

我使用Terraform创建了以下资源：如何使用Terraform实现这一点？我已经为bucket为aws_athena_database指定了一个自定义的参数来存储我的查询结果，如果我在雅典娜控制台外查

浏览 1提问于2019-08-23得票数 3

1回答

将数据从关系数据库传输到S3时，关系是否会保留？

amazon-s3、relational-database、amazon-rds、object-oriented-database

在亚马逊网络服务中，有用于将数据库快照从关系数据库传输到S3的options。但是S3是一个对象存储，所以它只存储文件(例如parquet)。关系数据库中的表之间的关系(如键)是否以某种方式传递到了S3？是否仍然可以对S3中的文件进行查询，从而允许在表之间进行连接？

浏览 29提问于2021-07-10得票数 0

2回答

将雅典娜表导出到S3作为一个可读文件

amazon-web-services、amazon-athena

我很困惑:我不知道如何将成功运行的CREATE TABLE语句导出到单个CSV。UNION ALLFROM targetsmart_idl_data_pa_mi_deduped_idfa 如何将此表保

浏览 3提问于2019-08-12得票数 3

1回答

如何将csv文件的第一行作为列名加载到AWS Athena中？

postgresql、amazon-web-services、relational-database、amazon-athena、aws-glue

我正在使用Glue将csv从S3存储桶流水线传输到AWS的雅典娜，列的标题只是默认的'col0'，'col1‘等，而列的真实标题在第一行条目中找到。在管道过程中或在早期的postgreSQL查询中，有没有办法使第一行条目成为列名？理想情况下，避免在Glue爬虫中直接对列名进行硬编码。

浏览 26提问于2019-03-09得票数 1

2回答

将视频从亚马逊流式传输到iOS设备

ios、amazon-web-services

我将我的视频存储在亚马逊S3存储桶中，并使用Cloudfront将它们流式传输到我的网站上。一切都很好，但现在我的网站也有了一个iPad应用程序，我想在我的iPad应用程序上播放同样的视频。我也知道CloudFront使用FMS3.5，我已经为FMS4.5设置了CloudFormation栈，但我不知道如何将它连接到我的存储桶中，创建安全的url

浏览 2提问于2013-01-16得票数 7

回答已采纳

1回答

如何将雅典娜创建的拼花面板表读入python

amazon-s3、amazon-athena

我使用Athena CTAS语句创建了一个表。根据Glue，我看到表存储在我的s3存储桶中。我进一步确认在我的s3存储桶中的预期位置有文件。但是，这些文件不是地块文件(它们是无扩展名的)。当我尝试使用pd.read_parquet将它们读取到python中时，我得到错误消息：“在footer中找不到拼图魔术字节。要么文件被损坏，要么这不是拼图文

浏览 2提问于2020-08-22得票数 1

1回答

使用文件夹中的mp3s设置简单的音频直播流

streaming

我的想法是：2)服务器以播放列表的形式播放文件夹中的音频我找到的唯一脚本是，但它似乎被破坏了。

浏览 0提问于2018-05-17得票数 0

2回答

亚马逊网络服务S3文件夹智能指标

amazon-s3、monitoring、prometheus、grafana、amazon-cloudwatch

我们使用grafana的cloudwatch数据源作为aws指标。我们希望根据文件夹的大小来区分S3存储桶中的文件夹，并将它们显示为图形。我们知道cloudwatch给出的不是对象级别的指标，而是存储桶级别。为了监控存储桶中文件夹的大小，请让我们知道是否有任何可能的解决方案。任何关于这方面的建议都是值得感谢的。提前谢谢。

浏览 3提问于2020-09-07得票数 0

2回答

如何使用未经验证的用户从Swift中的亚马逊网络服务S3存储桶下载文件

ios、swift、amazon-web-services、amazon-s3

我想从我的iOS应用程序中下载一个文件，该文件位于我的AWS S3存储桶中。我该怎么做呢？我做了很多研究和谷歌搜索，只能从AWS找到关于如何在Objective-C中做到这一点的文档。我已经设置了AWS Cognito，并给了未经身份验证的用户从我的存储桶中获取对象的权限。我现在只需要弄清楚如何从我的存储桶中实际下载。这里有人能给我指引正确的方向吗？如果有任何帮助，我将不胜感激。

浏览 31提问于2019-07-30得票数 2

回答已采纳

1回答

AWS-雅典娜表的大小

size、amazon-athena

我更熟悉MSSQL，在那里编写这样的查询相对容易。

浏览 0提问于2018-12-19得票数 2

2回答

使用boto3库和AWS Lambda从S3存储桶中的压缩文件获取数据流

python-3.x、amazon-s3、zip、aws-lambda、boto3

我正在尝试为我的计时工作创建一个无服务器处理器，在这项工作中，我从我的一个客户的S3存储桶中收到一个压缩文件，文件的大小约为50MB，但一旦解压缩它，它就会变成1.5GB大小，并且AWS Lambda上的可用空间有一个硬限制，即500MB，由于此原因，我无法从S3存储桶下载此文件并将其解压缩到我的Lambda上，我能够成功地解压缩我的文件，并使用unix脚本中的funzip逐行流式传输来自S

浏览 3提问于2017-09-05得票数 9

1回答

亚马逊S3到SSIS数据流

amazon-s3、ssis

我正试图通过SSIS从亚马逊S3下载一个具有特定文件名的文件 Secret_access_key

浏览 2提问于2021-02-08得票数 0

点击加载更多