Amazon Athena的用例
Amazon Athena是亚马逊AWS提供的一种交互式查询服务，用于分析存储在亚马逊S3（Simple Storage Service）中的大规模数据集。它可以通过标准SQL查询语言来查询和分析数据，无需预先定义模式或进行数据加载。
Amazon Athena的用例包括：
- 数据湖分析：数据湖是指将各种结构化和非结构化数据存储在一个统一的存储库中，Amazon Athena可以直接查询数据湖中的数据，帮助用户快速发现数据中的模式和洞察。
- 日志分析：通过将日志数据存储在亚马逊S3中，可以使用Amazon Athena来查询和分析日志数据，以了解应用程序或系统的性能、错误和行为。
- 业务智能分析：Amazon Athena可以帮助企业从大规模数据集中提取有价值的信息，进行业务智能分析，以支持决策制定和业务优化。
- 数据探索和可视化：通过使用Amazon Athena进行数据探索和查询，可以快速获取数据集中的信息，并使用可视化工具（如Amazon QuickSight）将查询结果可视化展示，以便更好地理解和传达数据。
- 数据科学和机器学习：Amazon Athena可以作为数据科学和机器学习工作流程中的一部分，用于数据准备和特征工程，以支持模型训练和预测。
对于Amazon Athena的使用，腾讯云提供了类似的产品，即TDSQL for MySQL，它是一种支持标准SQL查询的云数据库服务，可以用于分析和查询大规模数据集。您可以通过腾讯云官网了解更多关于TDSQL for MySQL的详细信息：TDSQL for MySQL产品介绍。
相关·内容
我试图使用c#雅典娜驱动程序执行雅典娜查询。
Amazon.Athena.Model.ResultConfiguration resultConfig = new Amazon.Athena.Model.ResultConfiguration();
resultConfig.OutputLocation = "https://s3.us-east-2.amazonaws.com/testbucket/one/2018-02-06/";
//other inputs i have tried
//"s3://testbucket/one/2018-02-06/"
浏览 1提问于2018-02-14得票数 3
我在AWS那边有一个雅典娜数据库。我想访问它并执行一些查询。这是我的.java类
客户端构建器
public class athenaCodeFactory {
private final AthenaClientBuilder builder = AthenaClient.builder()
.region(Region.US_WEST_2).credentialsProvider(EnvironmentVariableCredentialsProvider.create());
public AthenaClient createClient() {
浏览 4提问于2019-12-10得票数 5
回答已采纳
我正在尝试使用boto3在雅典娜引擎版本2中添加的预准备语句。我看到用于CreatePreparedStatement的api文档，但没有用于执行预准备语句https://docs.aws.amazon.com/athena/latest/APIReference/API_CreatePreparedStatement.html https://docs.aws.amazon.com/athena/latest/ug/querying-with-prepared-statements.html的文档。
浏览 17提问于2021-04-09得票数 0
我正在尝试使用JDBC连接到amazon。由于我没有在maven上找到AthenaDriver存储库，所以我自己在上创建了它。基本上我要做的是：
pom.xml：
<repository>
<id>mvn-rep</id>
<name>maven repository</name>
<url>https://github.com/raphael-psr/maven-repository/raw/master/</url>
</repository>
<dependenc
浏览 0提问于2018-03-15得票数 1
我已经在Tableau中建立了Amazon Athena连接，可以看到除分区列之外的所有列(在本例中是date)。但是，我可以在Athena中看到表结构中的列。
连接到同一个Athena DB的我的同事可以在他的Tableau中看到该列。有什么不同之处吗？
浏览 9提问于2018-07-20得票数 0
回答已采纳
我们正在构建一个web应用程序，让客户能够根据当前流入ElasticSearch的事件来洞察他们的活动。客户是向人们发送消息的组织。 有人担心，如果要求托管这些数据三年，就会产生非常大的存储量，并且在使用Elasticsearch的情况下实现成本很高。 另一种方法是将每天的数据处理成存储在S3中的report CSV，并使用Amazon Athena之类的工具执行查询。我们的应用程序是否可以向Athena发送即席查询，以响应web浏览器请求？这不太可能一直产生大量的请求，但我不确定延迟会是什么样子。
浏览 23提问于2020-08-12得票数 0
https://docs.aws.amazon.com/athena/latest/ug/connect-with-jdbc.html我已经安装了最新的jdbc jar到我本地的mvn repo中。当我试图构建我的项目时，我得到了下面的错误。 Failed to collect dependencies at Athena:AthenaJDBC42:jar:2.0.14.1000: Failed to read artifact descriptor for Athena:AthenaJDBC42:jar:2.0.14.1000: 1 problem was encountered whil
浏览 88提问于2020-11-02得票数 1
1回答
我是AWS的新手，正在尝试弄清楚如何在外部模式中填充表，位于Amazon Redshift中。我使用Amazon Glue从S3存储桶中的.csv文件创建了一个表。我可以通过Amazon Athena查询新创建的表。 这就是我陷入困境的原因，因为我的任务是获取数据并填充一个存在于RedShift外部模式中的表。我尝试在Glue中创建一个作业，但是没有成功。 这就是我被卡住的地方。我是否应该首先创建一个空的目标表，该表是我可以使用Athena查询的表的镜像？ 提前感谢任何可能提供帮助的人！
浏览 15提问于2020-01-14得票数 0
Amazon Athena表包含列“closed_date”。 closed_date
2002-05-12
2003-03-26 现在我需要找出关闭帐户后的天数。 我正在尝试做以下工作： select
extract (current_date - closed_date) as day
from athena_table 理想情况下，它应该返回(2021-07-27) - (2002-05-12) = 7,016天
浏览 8提问于2021-07-27得票数 0
是否可以将查询限制到某个Amazon Athena数据库，以便只针对该数据库运行查询？
我想像这样的东西
jdbc:awsathena://athena.us-east-1.amazonaws.com:443/databasename
，这样查询就像这样
SELECT * FROM exampletable
都是可能的。而不是
SELECT * FROM databasename.exampletable
感谢您的任何提示。
浏览 4提问于2017-06-01得票数 2
1回答
我在S3中有一些JSON文件，我能够从这些数据文件在Athena中创建数据库和表。已经完成了，我的下一个目标是将创建的表复制到中。在Athena中还有其他表，我是在这些数据文件的基础上创建的。我的意思是，我使用S3中的数据文件创建了三个表，后者使用这3个表创建了新的表。因此，目前我有5个不同的表，它们希望在Amazon中创建数据或不包含数据。
我在Amazon 中检查了命令，但是 Athena没有复制命令。这是可用的清单。
从亚马逊S3复制
亚马逊电子病历复印本
从远程主机(SSH)复制
从亚马逊DynamoDB复制
如果没有其他解决方案，我计划根据Athena中新创建
浏览 0提问于2020-03-09得票数 1
回答已采纳
据我所知，Amazon Athena JDBC驱动程序推荐的maven依赖项是com.syncron.amazonaws，simba-athena-jdbc-driver。我在Maven repo中找到的最新版本是： <dependency>
<groupId>com.syncron.amazonaws</groupId>
<artifactId>simba-athena-jdbc-driver</artifactId>
<version>2.0.2</version>
</depen
浏览 78提问于2019-03-28得票数 3
回答已采纳
我想知道是否有可能轻松地将Amazon RDS PostgreSQL数据库近乎实时地同步到Amazon S3，以便数据可以与Amazon Athena一起使用，就像读取副本一样。 我们有几个RDS数据库，我们希望将所有数据合并到一个存储库中，如S3。 谢谢。
浏览 45提问于2020-12-22得票数 1
我正试图在AWS Athena上进行查询，我只想过滤varchar列中的数字条目。但是，雅典娜不支持ISNUMERIC函数。我看到了一些有用的功能，但它们只适用于Amazon Redshift，而不适用于AWS Athena。有没有办法在雅典娜上应用这种类型的过滤器？谢谢。
浏览 2提问于2020-03-04得票数 3
我正在尝试在雅典娜创建新的胶水数据目录。它总是失败，返回INVALID_INPUT，没有其他错误上下文。 这是我正在使用的https://docs.aws.amazon.com/sdk-for-ruby/v3/api/Aws/Athena/Client.html#create_data_catalog-instance_method接口。 当选择type = GLUE时，它总是失败，输入无效。 require 'aws-sdk-athena'
Aws::Athena::Client.new.create_data_catalog(name: 'testing'
浏览 13提问于2020-09-25得票数 1
我的要求: 1。用户的将运行通过Apache nifi到亚马逊S3的sql查询。
这是否有可能实现Nifi与Amazon Athena的集成？
浏览 5提问于2018-01-15得票数 0
我想通过运行查询来确定连接到哪个版本的Amazon Athena。这个是可能的吗？如果是，查询是什么？
搜索谷歌、SO和AWS文档都没有找到答案。
浏览 3提问于2017-06-25得票数 0
我需要使用AWS/Athena下载我的AWS/Glue/Catalog上的完整表格内容。目前，我所做的是从仪表板运行select * from my_table，并在本地将结果保存为CSV，始终从仪表板。有没有办法使用AWS/CLI获得相同的结果？ 从文档中我可以看到https://docs.aws.amazon.com/cli/latest/reference/athena/get-query-results.html，但它并不是我所需要的。
浏览 61提问于2020-10-02得票数 2
回答已采纳
1回答
我开始在一个项目上的工作，以集成现有的VB.net webform应用程序到存储在亚马逊网络服务上的新数据。我下载了一个雅典娜SDK，它表明它完全可以做到这一点，但我无法让它工作。这是我到目前为止拥有的模块：
Imports System
Imports System.Threading
Imports System.Threading.Tasks
Imports System.Collections.Generic
Imports Amazon
Imports Amazon.Athena
Imports Amazon.Athena.Model
Namespace athena_api
Cl
浏览 12提问于2018-08-02得票数 1
我试图用布尔值对Amazon Athena上的数据进行分区，但似乎行不通。
我的数据(JSON格式)如下所示：
{
"name": "apple",
"size": "L",
"color": "red",
"fruit": true
}
or
{
"name": "brocolis",
"size": "L",
"color": "gr
浏览 0提问于2020-02-06得票数 1
1回答
我已经在雅典娜中设置了MySQL数据源(它需要为RDB访问创建Lambda )，并且可以在雅典娜控制台中成功地运行联邦查询--我可以在RDB表和雅典娜/Glue表之间进行连接(当引用RDB表时，它应该被指定为<datasource_name>.<db_name>.<table_name>)并获得结果。
现在，我试图在我的AWS批处理应用程序中运行相同的联邦查询，并获得以下错误：
The Amazon Athena query failed to run with error message: Amazon Athena experienced a permi
浏览 11提问于2022-07-17得票数 0
我在试着把R-Server连接到雅典娜。但是不能这样做。我从这里开始就遵循了这个指南：https://www.r-bloggers.com/interacting-with-amazon-athena-from-r/ 在运行代码时： URL <- 'https://s3.amazonaws.com/athena-downloads/drivers/AthenaJDBC41-1.0.0.jar'
fil <- basename(URL)
if (!file.exists(fil)) download.file(URL, fil,method="curl
浏览 35提问于2019-10-07得票数 0
回答已采纳
我正在运行一个"CREATE TABLE AS SELECT (CTAS) query“(https://docs.aws.amazon.com/athena/latest/ug/ctas.html)，即在底部复制的查询。我收到以下错误消息： HIVE_PATH_ALREADY_EXISTS: Target directory for table 'default.openaq_processed' already exists:
s3://<processed-data-bucketname>/. You may need to manually cl
浏览 23提问于2021-05-04得票数 0
回答已采纳
我想改进我目前的应用程序。我使用redis在亚马逊网络服务中使用ElastiCache，以便从我的网站存储一些用户数据。
此解决方案不可扩展，我希望使用Amazon Kinesis data Firehose进行自动缩放流输出，使用AWS Lambda修改我的输入数据，将其存储在S3存储桶中，并使用AWS Athena访问它。
我已经用谷歌搜索了几天，但我真的不知道Amazon Kinesis Data Firehose是如何将数据存储在S3中的。
Firehose是否将数据存储为每个它将处理的进程的单个文件，或者有一种方法可以将这些数据添加到相同的csv中，或者将数据分组到不同的csv中？
浏览 3提问于2020-04-14得票数 0
2回答
我将RStudio连接到Amazon Athena，数据库连接成功。 con <- dbConnect(noctua::athena(),
aws_access_key_id = "***",
aws_secret_access_key = "***",
s3_staging_dir = "s3://bucket-folder/",
region_name = '***') 但是，当我尝试
浏览 16提问于2020-08-22得票数 1
回答已采纳
2回答
我可以在我的帐户中在雅典娜服务中创建一个数据库和表来访问另一个帐户中的S3数据吗？
我浏览了下面的链接，并假设根据这个文档，Athena和S3桶都必须在同一个帐户中，并且在另一个帐户中向用户提供访问权限。
https://console.aws.amazon.com/athena/home?force®ion=us-east-1#query
浏览 2提问于2019-03-19得票数 3
回答已采纳
5回答
紧身片和比索的比较？
、、、、
经过一些搜索，我未能找到fastparquet和pyarrow的彻底比较。
我找到了这个博客 (速度的基本比较)。
还有一个github ，它声称用fastparquet创建的文件不支持athena(顺便说一句，情况是否仍然如此？)
我什么时候/为什么要用一个而另一个呢？主要的优点和缺点是什么？
我的具体用例是使用处理数据，将其写入s3，然后用athena读取/分析数据。
浏览 0提问于2018-07-16得票数 67
如何在amazon Athena中进行日期比较?-我使用以下查询，但它不是日期(‘2020-01-01’)和日期(‘2020-01-31’)之间的工作日期(Dt)。请注意这里'dt‘是一个字符串列。
浏览 30提问于2020-04-18得票数 0
我计划在Amazon 3/Athena中使用数百千兆字节的大数据集，我向有经验的从业者提出一个关于数据存储的最佳实践的问题(按成本和性能计算)。
我的行数据集包含大约40列，包括数字、日期和类似字符串的项。我的查询将非常频繁地执行一些算术操作和分组。
是以字符串的形式存储所有数据的好主意吗？这种方法的利弊是什么？(在查询时引入浇铸和动态转换数据类型)
还是直接实现转换并将数字存储为数字格式、时间图格式的日期等更好。
浏览 0提问于2018-03-08得票数 1
回答已采纳
Amazon Athena查询的"In Clause“中可以传递的值的数量是否有限制？我试着在documentation中查找，但找不到任何引用。谢谢。 例如Select * from tablename where columnName in (1,2,3..); - 上面语句的in子句允许传递多少个值？
浏览 28提问于2021-05-01得票数 0
回答已采纳
当我在Amazon Athena中使用JDBC driver创建一个表时，它不会显示在雅典娜控制台中，但在通过jdbc执行show tables in mydatabase命令时会出现(反之亦然)。你知道为什么会发生这种事吗？
浏览 4提问于2017-03-12得票数 0
我有一个满是明文指标的S3存储桶，我想要一种分析和查看这些数据的方法。我正在考虑的一个选择是Amazon Athena，但我想考虑几种方法的利弊。
浏览 20提问于2020-09-28得票数 0
如何重用在任务之间运行的DAG上计算的值？
我试图在我的DAG中生成一个时间戳，并将它用于几个任务中。到目前为止，我尝试设置一个变量和一个params值-没有什么工作，它是唯一的每一个任务运行。
这是我的代码：
from datetime import datetime, timedelta
from airflow import DAG
from airflow.models import Variable
from airflow.utils.dates import days_ago
from airflow.providers.amazon.aws.operators.athena
浏览 0提问于2021-03-08得票数 0
回答已采纳
基本上，我希望使用Amazon Athena在s3存储桶中建立到csv文件的SQL连接。除了第一行将给出标题的名称之外，我也不知道其他任何信息。有没有人知道解决这个问题的办法？
浏览 0提问于2019-08-14得票数 0
许多亚马逊网络服务的无服务器实时分析参考架构建议通过Kinesis Firehose将处理后的数据从Lambda推送到S3。 例如https://aws.amazon.com/blogs/big-data/create-real-time-clickstream-sessions-and-run-analytics-with-amazon-kinesis-data-analytics-aws-glue-and-amazon-athena/ 为什么我们不能直接将数据从Lambda推送到S3？通过跳过mediator Kinesis Firehose组件来避免复杂性和额外成本不是更好吗？通过La
浏览 34提问于2020-12-27得票数 3
回答已采纳
我目前有一个很大的json数据集，我想导入到Amazon Athena中，以便在Amazon Quicksight中可视化。在每个json中，有两个字段:一个是逗号分隔的In字符串(orderlist)，另一个是字符串数组(locations)。因为Quicksight不支持数组搜索，所以我现在求助于创建一个跨两个字符串数组生成交叉联接的视图： select id,
try_CAST(orderid AS bigint) orderid_targeting,
location
from advertising_json
CROSS JOIN UNNEST(split(orderlist
浏览 21提问于2020-10-02得票数 0
亚马逊雅典娜基于Presto。Amazon Athena支持视图。 Presto不支持配置单元视图，因为它不想处理配置单元查询语言。由于视图实际上是一个配置单元查询，因此它必须理解配置单元的整个语言，而不仅仅是它的模式。Presto supports views通过其蜂窝连接器。这些视图是"Presto视图“，是特定于Presto的(不能从配置单元中查询)。 雅典娜支持隐蔽下的蜂窝视图吗？或者，雅典娜视图是一个完全独立的层/插件，只保存命名为Presto/Athena的查询？
浏览 20提问于2019-05-25得票数 4
回答已采纳
1回答
当前场景：：我们有数据库表来记录审计数据，查询大部分时间都是基于object_id触发的，很少在created_date范围上进行。audit_log表存储持续一个月的数据，一个月后数据被移动到archive_audit_log表中。这些表位于Amazon RDS中。
CREATE TABLE IF NOT EXISTS audit_log (
id INT AUTO_INCREMENT,
object_id INT NOT NULL,
created_date DATE,
old_value TEXT,
new_value TEXT,
PRIMARY KEY (id)
) ENGINE=I
浏览 1提问于2019-04-15得票数 0
回答已采纳
1回答
我有一个AWS函数，它运行雅典娜查询来读取一些数据。
以下是政策：
{
"Version": "2012-10-17",
"Statement": [
{
"Sid": "Sid0",
"Effect": "Allow",
"Action": [
"athena:
浏览 0提问于2020-10-20得票数 0
回答已采纳
1回答
无法验证/创建输出存储桶
、、、、
我正在尝试向Amazon Athena查询ETL作业的最终结果。AWS中的一切都运行得很好，但现在我需要从我的Rails应用程序访问它，我遇到了问题。我已经在aws论坛和这里阅读了与此主题相关的问题和答案。似乎没有一个是有效的，因为它们都围绕着IAM的许可。我的组织里有上帝的力量。 bucket中的地域与sdk客户端匹配 我的权限是： {
"Effect": "Allow",
"Action": "*",
"Resource": "*"
} 存储桶是公共的；现在，在我测试的时候。但是无
浏览 9提问于2021-01-12得票数 0
回答已采纳
我正在尝试通过雅典娜查询我的cloudwatch日志。为此，我从AWS SAR部署了一个预建版本的连接器(Amazon Athena Cloudwatch Connector)。 当我尝试在athena中运行一个简单的查询时，我得到了以下错误： GENERIC_USER_ERROR: Encountered an exception[java.lang.RuntimeException] from your LambdaFunction[athenacloudwatch] executed in context[retrieving meta-data] with message[You d
浏览 12提问于2021-01-16得票数 0
回答已采纳
如何将Amazon与Ruby连接起来，并在Amazon上执行查询并获得结果。
我们找不到任何宝石或例子，帮助我们连接亚马逊雅典娜在红宝石。
请提供任何引用，我们可以使用它来构建与Athena的连接，并在Ruby中构建一个自定义查询执行器。
只是为了澄清我在生产上的应用程序，所以将SDK从Ruby改为JRuby并不是一个合适的选择。
浏览 7提问于2017-03-20得票数 5
回答已采纳
我有一个bash命令要运行，为此我将它分配给一个变量。要运行的命令是：
papermill athena-py/params_to_dict.ipynb athena-py/output_params_to_dict.ipynb -y '{"aviral":"srivastava"}'
我可以用python3打印它，如下所示：
>>> print("papermill athena-py/params_to_dict.ipynb athena-py/output_params_to_dict.ipynb -y '
浏览 0提问于2019-05-29得票数 0
回答已采纳
1回答
如何从亚马逊S3查询数据
、、、、
我希望用亚马逊DynamoDB上的数据创建一个Tableau仪表板。现在，我正在使用Amazon Lambda将数据发送到亚马逊S3上的存储桶中，并在S3存储桶中获取此文件。
{
"Items": [
{
"payload": {
"phase": "T",
"tms_event": "2017-03-16 18:19:50",
"id_UM": 0,
"num_severity_leve
浏览 2提问于2017-07-15得票数 1
回答已采纳
1回答
以编程方式获取群集/存储列
、、、、
作为参考，我主要使用以下方法通过amazon-athena连接到sqlalchemy：
create_engine(
f'awsathena+rest://:@athena.{myRegion}.amazonaws.com:443/{athena_schema}?s3_staging_dir={myS3_staging_path}',
echo=True)
在大多数遵循ANSI-SQL标准的关系数据库中，我可以通过运行以下代码以编程方式获得表的分区列：
select *
from information_schema.column
浏览 7提问于2020-11-13得票数 1
回答已采纳
我试着在这里/在线上找到类似的问题，但找不到。 我让雅典娜指向亚马逊S3中的一个文件夹，该文件夹本身包含文件夹/分区，每个分区都有一个.tsv (例如s3://my_bucket/partition/file.tsv)。Athena能够收集存储桶中大多数文件的结果，但不能收集其中一小部分文件的结果。 我已经运行了修复代码(MSCK REPAIR TABLE)，并检查了glue以确保它可以看到分区(确实如此)。我还查看了亚马逊知识中心(https://aws.amazon.com/premiumsupport/knowledge-center/athena-empty-results/)。不确
浏览 22提问于2021-10-27得票数 0
1回答
我试图使用这个DDL在Amazon的Athena中创建一个表，但是在查询之后，我发现我的所有日期值(在transactiondate字段中)都是空的。源数据格式仅为mm/dd/yyyy，即08/01/2017。
有什么想法吗？
创建外部表wf2( transactiondate日期，amount十进制(10，0)，description字符串，filename字符串)
浏览 0提问于2017-12-27得票数 1
回答已采纳
1回答
我有一个数据集，我想按特定的键(clientID)进行分区，但是一些客户端产生的数据比其他客户端要多得多。在Hive中有一个由"<code>C1</code>“调用的称为"<code>C0</code>”的功能，专门用来处理这种情况。
然而，我找不到任何迹象表明Spark支持这个特性，或者(如果它确实支持它)如何使用它。
有没有等同的Spark功能？或者，Spark有没有一些其他的特性可以复制这种行为？
(作为我的实际用例的额外好处和要求-您的建议方法是否适用于Amazon Athena?)
浏览 16提问于2019-03-28得票数 1
我正在尝试用python连接AWS雅典娜。我正在尝试使用pyathenajdbc来完成这个任务。我现在的问题是获得一种联系。当我运行下面的代码时，我会收到一条错误消息，说明它找不到AthenaDriver。( java.lang.RuntimeException:未找到类com.amazonaws.athena.jdbc.AthenaDriver )。我从AWS下载了这个文件，并确认它位于该目录中。
from mdpbi.rsi.config import *
from mdpbi.tools.functions import mdpLog
from pkg_resources import
浏览 1提问于2017-03-24得票数 5
回答已采纳
我在aws appsync中得到了一个客户端API。目前它有AMAZON_COGNITO_USER_POOLS授权，但我希望允许未经身份验证的用户访问GraphQL API中的一些资源。我正在寻找一些不包括改变API授权访问方式、AMAZON_COGNITO_USER_POOLS授权(更改授权类型将是我的最后一个选项)的替代方案。
我期待着使用AMAZON_COGNITO_USER_POOLS授权授权未经身份验证的身份。另外，如果您认为保持这种类型的授权，并试图完成我的用例将是世界上最糟糕的想法，我很乐意阅读您的论点。
浏览 0提问于2019-02-19得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
