使用Lambda捕获雅典娜查询执行细节
Lambda是亚马逊AWS提供的一项无服务器计算服务，它允许开发人员以函数的形式运行代码，无需关心服务器的管理和维护。Lambda可以用于处理各种类型的任务，包括数据处理、图像处理、实时流处理等。
雅典娜（Athena）是亚马逊AWS提供的一项交互式查询服务，用于分析存储在亚马逊S3中的数据。它支持使用标准的SQL查询语言进行查询，并且可以处理大规模的数据集。雅典娜可以将查询结果以表格形式返回，也可以将结果导出到S3中。
使用Lambda捕获雅典娜查询执行细节可以通过以下步骤实现：
- 创建Lambda函数：在AWS控制台中，创建一个Lambda函数，并选择适当的运行时环境（如Node.js、Python等）。
- 添加触发器：在Lambda函数配置中，添加一个触发器，选择雅典娜作为触发器类型，并指定要触发Lambda函数的查询。
- 编写Lambda函数代码：在Lambda函数中，编写代码来处理雅典娜查询的执行细节。可以使用AWS SDK提供的API来获取查询的执行状态、结果等信息。
- 处理查询执行细节：在Lambda函数中，可以使用日志记录功能来记录查询的执行细节，包括查询开始时间、结束时间、执行时间、扫描的数据量等。可以将这些信息存储在日志文件中，或者发送到其他监控系统进行分析。
推荐的腾讯云相关产品：腾讯云函数计算（SCF）是腾讯云提供的无服务器计算服务，类似于AWS Lambda。它可以帮助开发人员快速构建和部署云端应用程序，无需关心服务器的管理和维护。腾讯云函数计算支持多种编程语言，并提供了丰富的触发器类型，可以与其他腾讯云产品进行集成。
更多关于腾讯云函数计算的信息，请参考腾讯云官方文档：腾讯云函数计算
相关·内容
我的需求
我想从雅典娜查询结果中创建一个CloudWatch-Metric。
示例
我想要创建一个像user_count这样的每天的度量。在雅典娜中，我将编写如下SQL查询
select date,count(distinct user) as count from users_table group by 1
在雅典娜编辑器中，我可以看到结果，但我希望在Cloudwatch中将这些结果作为度量。
CloudWatch-Metric-Name ==> user_count
Dimensions ==> Date,count
如果我有这个云监视度量和维度，我可以很容易地创
浏览 8提问于2020-09-03得票数 5
是否有任何内部表格，我们可以查询雅典娜，将提供我们的使用雅典娜的信息？
我正在寻找如下数据：
保存了哪些查询？
哪个用户询问了什么以及什么时候？
我知道有像$path这样的隐藏字段，但是我想知道是否有关于元数据的隐藏表？
浏览 0提问于2019-04-04得票数 1
回答已采纳
当文件上传到s3存储桶时，必须触发lambda，然后雅典娜应该运行，并根据文件名将查询传递给lambda执行结果
浏览 2提问于2021-07-07得票数 1
我设置了一个雅典娜数据库，指向一个包含ALB日志的S3桶，所有这些都正常工作。我将表划分为一个名为datetime的列，其思想是它具有YYYY/MM/DD格式。
我可以使用以下命令通过雅典娜控制台手动创建分区：
ALTER TABLE alb_logs ADD IF NOT EXISTS PARTITION (datetime='2019-08-01') LOCATION 's3://mybucket/AWSLogs/myaccountid/elasticloadbalancing/eu-west-1/2019/08/01/'
我已经创建了一个lambda来每天
浏览 0提问于2019-08-01得票数 0
回答已采纳
1回答
我已经在雅典娜中设置了MySQL数据源(它需要为RDB访问创建Lambda )，并且可以在雅典娜控制台中成功地运行联邦查询--我可以在RDB表和雅典娜/Glue表之间进行连接(当引用RDB表时，它应该被指定为<datasource_name>.<db_name>.<table_name>)并获得结果。
现在，我试图在我的AWS批处理应用程序中运行相同的联邦查询，并获得以下错误：
The Amazon Athena query failed to run with error message: Amazon Athena experienced a permi
浏览 11提问于2022-07-17得票数 0
我有一个用Python3.6编写的lambda，里面有一些SQL查询，可以解析到aws雅典娜。每当有新项落入dynamodb中时，dynamoDB都会触发这个lambda。对于每个新项目，我都想启动一个lambda。假设，如果有100个新项落入DynamoDB中-那么将会执行100个并发Lambda。但在此过程中，在Athena中有一个SQL查询失败，并且lambda无法完成该dynamodb记录的计算。
注意: dynamodb中每条记录的数据将被解析为python中的SQL查询和AWS ATHENA。
我的问题是:当并发lambda中的一个出现错误时，我该如何停止这个进程，lambda正在
浏览 1提问于2017-10-25得票数 0
我想从表中的列中提取最旧的时间戳。我想对雅典娜aws中的所有表执行此操作。我可以写一个脚本吗?或者有没有什么方法可以自动化它，而不是一遍又一遍地为所有的表运行查询？
浏览 0提问于2021-03-10得票数 0
我有一个快速视觉仪表板指向雅典娜桌子。现在我要安排每小时更新一次香料。根据文档，刷新将数据再次导入SPICE，因此数据包含自上次导入以来的任何更改。
如果我有一个2TB数据集在雅典娜和每小时新的数据添加到雅典娜。那么，QuickSight将每小时加载2TB以找到增量？如果是的话，会增加雅典娜的成本。QuickSight查询雅典娜来获取数据吗？
浏览 7提问于2019-11-05得票数 4
1回答
我希望从我的AWS Lambda中使用雅典娜来查询我的S3存储桶中的数据。当我查看一些示例时，Lambda对雅典娜的调用似乎是异步的。Lambda调用雅典娜，等待雅典娜将结果写入S3存储桶。有没有一种方法可以直接检索响应，而不必将其写入S3存储桶？
浏览 13提问于2019-03-05得票数 1
回答已采纳
3回答
我正在浏览AWS雅典娜联邦查询页面，并了解到“您可以使用雅典娜联邦查询(Preview)查询现有数据或构建管道，从多个数据源提取数据并将其存储在S3中。”
如果我有一个巨大的数据以外的AWS帐户，我仍然必须传输数据到S3，以便我可以使用它在雅典娜？
伙计们，请分享你们的经验？谢谢
浏览 6提问于2020-05-25得票数 0
1回答
我现在和Kinesis Firehose，Glue Crawler一起使用雅典娜。Kinesis Firehose正在将JSON保存到单行文件，如下所示
{"name": "Jone Doe"}{"name": "Jane Doe"}{"name": "Jack Doe"}
但是我注意到雅典娜查询select count(*) from db.names返回1而不是3，在搜索问题之后。我找到了以下文件。
这篇文章说，JSON文件应该用新的行存储。
{"name": "Jon
浏览 3提问于2020-06-07得票数 8
回答已采纳
我试图在Lambda (node.js)中创建一个函数，它将在雅典娜中创建一个表。
我遵循“开始查询执行”aws文档(所附代码)，但当我运行代码时，我没有看到任何表正在创建，而且函数没有错误.
非常感谢您在以下方面的帮助：
是否有可能lambda会创建一个表(就像查询一样)？
兰博达功能和雅典娜区域都是一样的重要吗？
密码有什么问题吗？
我应该使用.promise()还是try & catch？
我试着在不同的地区运行它，让Lambda完全访问雅典娜和S3。
// console.log('Loading function');
const AW
浏览 2提问于2019-02-09得票数 2
回答已采纳
我需要在AWS lambda中找到解决问题的方法，请帮助。
我现在在做什么：
在lambda处理函数中，我从雅典娜获取数据，执行一些逻辑，也从运动学中获取数据，执行一些逻辑。每20秒调用一次lambda处理程序。
这是伪代码：
def lambda_handler(event, context):
query = query to get data from athena
df = pd.DataFrame(query)
###Some processing logic from by taking data from kinesis###
我的问题是
我从雅典娜那里得
浏览 3提问于2020-12-22得票数 0
我试图执行查询从雅典娜显示数据从海王星数据库。我使用雅典娜海王星连接器连接到海王星DB并在雅典娜查询编辑器中显示数据。
但是，当我运行以下查询时会出现错误
SELECT * FROM "datasource/datacatalog".<dbname>.<tablename> limit 10;
错误信息：
Encountered an exception[java.lang.NullPointerException] from your LambdaFunction[neptune_connector lambda function name] ex
浏览 16提问于2022-06-24得票数 0
回答已采纳
我想查询AWS负载均衡器日志自动和按时为我发送报告。
我正在使用亚马逊雅典娜和AWS Lambda触发雅典娜。我创建了基于指南的数据表：https://docs.aws.amazon.com/athena/latest/ug/application-load-balancer-logs.html
然而，我遇到以下问题：
日志桶的大小一天比一天大。我注意到，如果雅典娜查询需要超过5分钟才能返回结果，有时会产生“未知错误”。
因为AWS函数的最大超时时间仅为15分钟。因此，我不能继续增加Lambda函数超时以等待雅典娜返回结果(例如，如果雅典娜需要>15分钟才能返回结果)
你
浏览 4提问于2021-04-07得票数 0
回答已采纳
我想让客户访问我帐户中的数据，但是在我的s3桶周围构建一个表需要额外的开销，因为分区的数量正在增加。在我的帐户中，我有一个lambda，它通过删除/创建带有必要分区投影的Athena表来自动处理这个问题。我想让这个相同的lambda创建/删除雅典娜表在另一个AWS帐户上，不属于我，这可能吗？我知道我可以让每个团队都能访问我的雅典娜桌子，但是所有的查询费用都是我自己积累的。
浏览 1提问于2020-05-18得票数 0
回答已采纳
1回答
使用雅典娜数据创建警报的最佳解决方案是什么？ 负载均衡日志保存在S3中，并与雅典娜一起访问。我想根据雅典娜的查询来提醒我。我在考虑用雅典娜结果填充cloudwatch指标，并在Cloudwatch中创建一个警报。我可以使用雅典娜结果直接创建指标吗？ 我可以用lambda解决，但我正在寻找更好的解决方案。
浏览 30提问于2019-01-03得票数 0
为了允许在AWS雅典娜中查询同一个AWS帐户中的RDS PostgreSQL DB，我遵循设置了带有Lambda连接器的雅典娜联邦查询。
连接器工作得很好。现在，有一个新创建的lambda函数和目标RDS都与之相关联的安全组。此安全组的入站规则允许任何源向端口5432 (默认Postgres端口)发送请求：
如果我删除这些规则，雅典娜将查询此数据源失败(Failed to invoke lambda function due to com.amazonaws.services.lambda.invoke.LambdaFunctionException: 0: org.postgres
浏览 8提问于2022-10-26得票数 0
我已经创建了几个Athena查询来生成报告。
企业希望每晚运行这些报告，并将查询的输出通过电子邮件发送给他们吗？
我的第一步是调度保存/命名的雅典娜查询的执行，这样我就可以从S3存储桶中收集查询执行的输出。
有没有一种方法可以定期自动执行查询？
浏览 4提问于2018-02-03得票数 2
回答已采纳
我们有原始数据存储在S3中作为拼图。我要把这些数据的一个子集加载到Redshift。明确地说，Redshift数据将是原始数据的查询(连接、过滤器、聚合)的结果。
我原本以为我可以在雅典娜中构建视图，并将结果加载到Redshift中-但似乎没有那么简单！
Glue ETL作业需要S3或RDS源-不接受来自雅典娜的视图。(也无法爬网视图)。
下一个解决方案是使用Athena CTAS功能，将视图的结果写入S3，然后加载到RedShift中。但是，CTAS没有'overwrite‘选项。
所以问题..。有没有更简单的方法来解决这个问题呢？(似乎是一个简单的要求)有没有简单的变通方法来执行带
浏览 17提问于2019-07-11得票数 0
回答已采纳
1回答
正如我们所知，Lambda在执行15分钟后超时。我正在寻找一种方法来执行雅典娜查询，这是在一个非常巨大的数据集上。从Lambda调用查询将引入Lambda在处理查询之前超时的问题。我的最终目标是调用查询，并知道查询何时完成，这样我就可以处理结果。状态机可以用来查询雅典娜吗？或者Lambda的功能是只调用雅典娜而不等待结果，我将在我期望查询运行的持续时间之后查询雅典娜以获得结果？任何其他的想法都将不胜感激。
浏览 7提问于2020-05-21得票数 1
回答已采纳
我将我的.csv文件保存在S3存储桶中。我可以使用AWS Athena查询S3的数据。我们有没有办法将lambda函数连接到雅典娜，并从lambda函数中查询数据。请帮帮忙
谢谢
浏览 5提问于2018-05-11得票数 7
回答已采纳
我在AWS中设置了下面的管道(在这里尽量不要泄露太多的公司信息)。这可能过于简单化了，但现在开始了。
我们有一个ETL过程，其中包含每天爬行的数据源，然后在雅典娜上演。然后，我们让Glue作业设置从雅典娜中的暂存数据中提取特定的表，这些数据写到托管在其他地方的MySQL数据库。(这都是设置和工作)。
公司要求我们确保在mySQL中维护列名、数据类型、可空或非空等。我们不会在MySQL上删除和重新创建表，因为还有其他部门可能需要对数据执行一些其他转换等--还有与这些视图相关的视图以及引用完整性等。
然后我需要实现的是，在雅典娜表上跟踪列重命名、列数据类型更改、列添加、列删除、新表添加、表删除等。
浏览 2提问于2022-07-05得票数 1
回答已采纳
4回答
雅典娜查询S3数据的备选方案
、、、、
我有大约300 GB的 of data on S3。让我们说，这些数据看起来像：
## S3://Bucket/Country/Month/Day/1.csv
S3://Countries/Germany/06/01/1.csv
S3://Countries/Germany/06/01/2.csv
S3://Countries/Germany/06/01/3.csv
S3://Countries/Germany/06/02/1.csv
S3://Countries/Germany/06/02/2.csv
我们正在对数据做一些复杂聚合，因为一些国家的数据很大，而一些国家的数据很小
浏览 1提问于2019-08-01得票数 3
回答已采纳
我正在通过python boto3向雅典娜查询S3存储桶。查询成功，没有错误，但输出S3存储桶为空。但是，当我通过python控制台运行查询时，它可以工作，并且在S3输出存储桶中有.csv和.csv.metadata以及雅典娜查询结果。 我已经添加了在此页面上提到的权限。https://docs.aws.amazon.com/athena/latest/ug/cross-account-permissions.html 我不确定这是否重要，但是查询结果所在的S3输出桶不是由serverless管理的(这就是我在我的项目中使用的)，它是一个现有的S3桶，我使用了这个包和指令https://ww
浏览 23提问于2019-06-29得票数 0
2回答
我有两个AWS帐户: Account1和Account2。我将一些数据存储在S3中的Account1中，并将这些数据注册到Account1中的雅典娜表中。现在，我想从Account2访问相同的雅典娜表。我意识到我可以在Account2中创建一个雅典娜表来查询Account1中的数据，但理想情况下，我希望将所有表保存在Account1下。
浏览 1提问于2018-12-24得票数 6
回答已采纳
3回答
寻找一种处理~ 4Gb文件的方法，这是雅典娜查询的结果，我想知道：
有没有办法将雅典娜的查询结果文件分割成小块？据我所知-雅典娜那边是不可能的。而且，看起来不可能将它与Lambda分割--这个文件太大了，并且看起来s3.open(input_file, 'r')在Lambda :( )中不工作。
还有其他的AWS服务可以解决这个问题吗？我希望将这个CSV文件拆分为小文件(大约3-4 Mb)，将它们发送到外部源(POST请求)。
浏览 3提问于2020-08-19得票数 0
我已经检查了AWS常见问题，但是其他资源找不到答案。我可以联系AWS获得技术支持，但我没有权限。 我检查了存储来自雅典娜的查询结果的S3，但是它似乎没有通过QuickSight使用雅典娜查询的查询结果。 有没有其他雅典娜通过QuickSight存储查询结果的地方？ 谢谢!
浏览 14提问于2020-08-12得票数 3
1回答
我不时地在亚马逊S3上添加文件，我正在使用亚马逊雅典娜对这些数据执行查询，并将其保存在另一个S3存储桶中作为CSV格式(聚合数据)，我正在尝试找到方法让雅典娜只选择新数据(这是雅典娜以前没有查询过的)，以优化成本并避免数据重复。我尝试在被雅典娜选中后更新记录，但在雅典娜中不支持更新查询。有什么办法可以解决这个问题吗？
浏览 18提问于2020-09-07得票数 1
回答已采纳
1回答
我在AWS上有一个事件驱动的数据管道，可以处理数百万个文件。我的s3存储桶中的每个文件都会触发一个lambda。lambda处理文件中的数据，并将处理后的数据转储到s3存储桶中，进而触发另一个lambda等等。
在我的管道的下游，我有一个lambda，它创建了一个雅典娜数据库和表。只要在我的s3存储桶的适当键下转储了一个对象，就会触发这个lambda。调用这个lambda就足够了，它只创建我的雅典娜数据库和表一次。
我如何避免让我的labda被多次触发？
浏览 2提问于2019-07-12得票数 0
希望您能帮助我，关心一个错误与awswrangler。
情况是这样的:我有2个aws帐户， AccountA 和 AccountB ，两者都启用了湖生成功能，我在AccA中有一组数据库，在AccB中有另一组数据库，因此我们通过湖生成将AccountB数据库共享给AccountA，以便我们可以在AccountA中与雅典娜一起查询它们的Db/表。
我试图用python自动化sql查询，所以我使用awswrangler来实现这一点，但是在python中运行查询时，我得到了一个不太具体的错误。
当我运行"select * from“获取此错误时，”DatabaseAccB.Table:HIVE
浏览 21提问于2022-03-25得票数 0
我正在尝试从电子病历通过雅典娜命令行访问AWS雅典娜
aws Athena启动-查询-执行--查询-字符串--结果-配置
但是aws help没有列出雅典娜。
我们需要从哪里以及如何执行雅典娜命令行？
浏览 32提问于2018-02-23得票数 0
如何将Amazon与Ruby连接起来，并在Amazon上执行查询并获得结果。
我们找不到任何宝石或例子，帮助我们连接亚马逊雅典娜在红宝石。
请提供任何引用，我们可以使用它来构建与Athena的连接，并在Ruby中构建一个自定义查询执行器。
只是为了澄清我在生产上的应用程序，所以将SDK从Ruby改为JRuby并不是一个合适的选择。
浏览 7提问于2017-03-20得票数 5
回答已采纳
我已经将CloudWatch日志触发器附加到我的lambda (lambda与concurrency=1一起使用)。兰博达提出雅典娜质疑，这要花我们的钱。
问题是，如果我在2秒内转储了10个(云监视日志)文件，就会调用lambda 10次--这对我来说代价很高，因为lambda运行了一个昂贵的Athena查询。
我想要的是每5分钟触发一次lambda (类似于DynamoDB触发器)。就像@MrOverflow在评论中说的那样)，如果在最后5分钟内生成一个CloudWatch日志的话。如何做到这一点(最好不用编写代码)？
编辑1
我不能有固定的5分钟触发，因为这将触发雅典娜查询，即使周围没有活
浏览 0提问于2022-01-21得票数 1
为什么AWS Athena在目标S3位置转储结果时需要'spill-bucket‘
WITH
( format = 'Parquet',
parquet_compression = 'SNAPPY',
external_location = '**s3://target_bucket_name/my_data**'
)
AS
WITH my_data_2
AS
(SELECT * FROM existing_tablegenerated_data" limit 10)
SELECT *
FROM my_data
浏览 0提问于2021-02-24得票数 2
SageMaker拥有从批处理和在线读取数据的快速性能。我想知道幕后发生了什么。这些雅典娜查询是功能存储使用的幕后查询吗？它是访问实体化视图，还是直接针对S3中的分区数据运行这些查询(分区比实体化视图更快)？
浏览 8提问于2021-07-22得票数 0
2回答
我正在创建一个数据湖，并在Glue目录中有一些表，我需要在Athena中查询这些表。作为先决条件，雅典娜要求我们将查询结果存储在S3桶中。我有“临时”和“日志”S3桶。但是由于这是客户端敏感的数据，我只想检查是为此创建一个新的雅典娜桶，还是使用现有的temp/logs。
备注：我没有任何将来使用雅典娜的查询。
浏览 1提问于2021-02-11得票数 1
回答已采纳
2回答
在CloudWatch下，我创建了一个规则来捕获雅典娜查询状态更改事件，该事件将(1)将日志写入日志组(2)触发一个Lambda函数，该函数将捕获雅典娜查询执行细节并将其输送到s3存储桶。点2失败，因为没有通过管道将雅典娜查询执行细节传送到s3存储桶。下面是我使用的Lambda函数： import json
import boto3
from botocore.config import Config
my_config = Config(
region_name = '<my_region>')
print('Loa
浏览 39提问于2021-08-27得票数 0
我试图从我的Lambda代码中查询雅典娜视图。为不同帐户中的S3文件创建雅典娜表。雅典娜查询编辑器给了我以下错误：
拒绝访问(服务: S3；状态代码: 403；错误代码: AccessDenied；
我试着从Lambda代码访问雅典娜视图。创建了Lambda执行角色，并允许该角色在另一个帐户S3桶的桶策略中执行，如下所示：
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
浏览 2提问于2020-02-29得票数 1
回答已采纳
我有一个python，它将调用一个SQL查询到Athena，用于为lambda计算提取某些数据。如何在lambda中对雅典娜查询进行单元测试？由于lambda使用其他一些服务，所以我使用MOTO来模拟服务。
浏览 2提问于2017-10-30得票数 3
回答已采纳
1回答
目前我正在AWS雅典娜上工作。我们有一个网页，将显示查询结果。存储在s3桶中的数据作为数据湖AWS的一部分被摄取。
从我们的网页，多个请求/查询将抛给AWS雅典娜。由于这是实时查询，所以我不会在处理过程中保存查询，而是使用lambda函数执行从网页传递的查询，然后显示结果。
现在我可以在lambda输出屏幕上看到json格式的结果，我们计划获取存储在s3中的输出文件并将其推送到网页。我们面临的限制是，当多个请求命中时，每个查询结果都存储在具有唯一UUID文件名的s3中，如何从s3桶中获取该数据。
新的文件创建想法在我的脑海中，但是对于来自多个地方的多个请求，在一次我们不能使用这个概念，我没有找
浏览 5提问于2020-06-01得票数 2
回答已采纳
2回答
我们对所有数据都使用S3。它们中的大多数都是结构化的，并作为地块文件存储在分区的文件夹中。到目前为止，我们主要使用电子病历和直接的S3路径来访问和处理数据。
我想在整个架构中引入一些结构，同时保持所有东西都是无服务器的，所以我想使用AWS Glue Data Catalog作为中心元数据，作为S3上的数据的抽象层，以便于查询。我也喜欢雅典娜作为一个非常好和简单的工具来利用这一点，特别是对于我们的分析师。
但是，我们还需要处理数据并将结果再次输出到S3。这意味着一方面是ETL转换，另一方面是聚合，例如收集统计数据，在不同级别执行一些计数等，并将它们存储在表中。
因为使用雅典娜的即席查询做得很好，
浏览 0提问于2019-01-22得票数 1
3回答
我有一个有很多分区的表(这是我们正在减少的)。
当我询问：
SELECT * FROM mytable LIMIT 10
我得到：
"HIVE_EXCEEDED_PARTITION_LIMIT:对表'mytable‘的查询可能会读取超过1000000个分区“
为什么查询的“限制10”部分不足以使雅典娜返回结果而不读取更多的1或3个分区？
答:在查询计划阶段，雅典娜试图列出回答查询可能需要的所有分区。由于雅典娜不知道哪些分区实际包含数据(而不是空分区)，所以它会将所有分区添加到列表中。
浏览 0提问于2021-12-03得票数 0
回答已采纳
我在Amazon Athena上做了一些查询(据我所知，它使用的是Presto )。我想以类似于Presto的方式创建一个临时函数 CREATE TEMPORARY FUNCTION square(x int)
RETURNS int
RETURN x * x
SELECT square(col) from table 有没有可能在雅典娜这样做？我找到的唯一的tutorial对我来说并不是很容易理解。
浏览 21提问于2021-04-07得票数 0
回答已采纳
1回答
我试图使用雅典娜作为批处理执行AWS雅典娜查询。我能够建立连接，单独运行查询，但不知道如何作为批处理运行3个查询。任何帮助都很感激。
查询
1.select * from table1 limit 2
2.select * from table2 limit 2
3.select * from table3 limit 2
浏览 0提问于2018-11-27得票数 4
回答已采纳
2回答
我有一个源桶，每秒都会插入5KB的JSON文件。我想使用AWS雅典娜通过AWS胶水数据源和爬虫来查询文件。为了获得更好的查询性能，AWS Athena推荐使用。
因此，我希望将源存储桶中的文件复制到bucket2并合并它们。
我计划使用S3事件为每个创建的文件在AWS SQS中放置一条消息，然后使用一批x消息调用一个lambda，读取这些文件中的数据，将它们组合并保存到目标存储桶中。然后，bucket2将成为AWS Glue爬虫的来源。
这是最好的方法，还是我错过了什么？
浏览 11提问于2021-07-18得票数 0
我们(帐户A)想通过编程的方式在不同的亚马逊网络服务帐户(帐户B)中触发雅典娜查询(StartQueryExecution)，我们使用假定的角色来实现。在雅典娜查询完成后，我们期望结果应该写入我们的亚马逊网络服务帐户s3存储桶(帐户A)。我们设法做到了这一点，方法是设置两端IAM策略，允许B写入A的S3存储桶。
但是，帐户A中的S3对象似乎仍归帐户B所有，帐户A中的用户/角色无权访问这些对象。
我在考虑任何一种方法来解决这个问题，但我找不到任何一个如何做的例子
在创建对象后，以某种方式确保雅典娜使用acl =bucket-owner- s3 -control将s3对象acl更改为bucket-
浏览 1提问于2019-06-13得票数 3
1回答
AWS CDK雅典娜数据源
、、、、
如何在AWS中创建雅典娜数据源，这是使用MySQL连接到AthenaJdbcConnector数据库的JDBC。
我相信我可以使用aws-sam的CfnApplication来创建AthenaJdbcConnector Lambda，但是我如何将它与雅典娜连接起来呢？
我注意到很多CDK中的Glue支持，这将转移到雅典娜(数据目录)，并且在其他模块中有几种CfnDataSource类型，比如QuickSight，但是我在CDK中看不到雅典娜下的任何东西。
见下面的图片和参考资料。
参考文献：
浏览 7提问于2021-10-29得票数 1
我们有流媒体应用程序在S3上存储数据。S3分区可能具有重复的记录。我们通过雅典娜查询S3中的数据。
有没有一种方法可以从S3文件中删除重复项，这样我们在从雅典娜查询时就不会得到它们？
浏览 0提问于2017-08-13得票数 3
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
云直播
对象存储活动推荐
腾讯云开发者
