我试图使用雅典娜对我们的一个S3存储桶做一些分析，但我得到了一些错误，我无法解释这些错误，也无法找到解决方案。我昨天创建了我的S3清单，现在已经收到了S3的第一份报告。为了创建表，我使用以下查询： CREATE EXTERNAL TABLE my_table ( key string,
version_id string,metastore my_table=2021-0
浏览 24提问于2021-07-18得票数 0
1回答
我正在尝试使用雅典娜查询AWS S3 。如果我只有一个源桶，我就能做到这一点。我不知道如何将其配置为与多个源存储桶一起工作。 destination-prefix/source-bucket/config-ID/hive/dt=YYYY-MM-DD-HH-MM/symlink.txt
所以当我创建
浏览 0提问于2019-04-23得票数 3
回答已采纳
1回答
我有一个包含数百万个对象的S3桶。我想为这个桶建立一个AWS S3库存。但是，我希望从库存报告(CSV)中排除位于桶根的test/文件夹中的所有对象。在配置库存时，控制台中有一个选项，即：Prefix，我认为它是一个过滤器，用于包含对象，而不是排除对象。
除了test/文件夹中存在的对象之外，我如何生成所有桶对象的库存报告？有什么办法可以在S3
浏览 3提问于2020-12-28得票数 2
回答已采纳
2回答
我想编写一个雅典娜或Glue ETL进程，它查询S3桶中的所有图像，并以某种方式将唯一的 <PRODUCT_ID>值提取到一个表或列表中。因此，例如，如果上面的6个图像是桶中的唯一图像，那么这个过程将：
可以是S3上的文件，甚至内存中<
浏览 0提问于2019-08-16得票数 0
回答已采纳
2回答
由于小对象的，我正在编写一个归档程序。如果能够要求boto3给出桶中还没有进入所需存储类的对象的列表，这将对我非常有帮助。我还没有深入了解源代码，但我认为它本质上是命令行工具上的包装器--但我在任何地方都找不到使用这种技术的文档或示例。
浏览 2提问于2021-08-29得票数 2
回答已采纳
我在AWS雅典娜做过这个WITH SERDEPROPERTIES ( 'input.regex' = 'nina'TBLPROPERTIES ('
浏览 7提问于2022-04-14得票数 0
3回答
亚马逊S3有一个跨区域复制，它将处理新的/更新的对象到其他区域的副本。问题是，解决方案没有为复制过程提供状态可见性，例如，目前无法轻松监视目标上缺少的对象或任何可能会干扰进程并导致复制无法完成其工作的权限问题，以及缺少复制延迟的反馈。，因为我们管理了数以千万计的对象，这些对象每个月花费几千美元用于CloudWatch事件，以及对解决方案所需服务的额外管理(DinamoDB、DinamoDB等)。目前，我们使用</em
浏览 0提问于2018-10-04得票数 5
回答已采纳
我有以下雅典娜分区表(HIVE/Presto)： id STRING,数据存储在s3中，组织在路径结构中，如s3://mybucket/year=2020/month=01/day=30/。我想知道以下查询是否会利用分区优化：
SELECT
浏览 2提问于2020-08-12得票数 1
回答已采纳
我试图从雅典娜查询S3上的JSON文件，但是有些JSON对象是不完整的/有一些错误。根据我设置的：serde = org.openx.data.jsonserde.JsonSerDe但是，在使用雅典娜查询JSON异常时，我仍然会得到它们。这是DDL的结构。',
浏览 11提问于2020-01-18得票数 0
我需要完成的任务:对S3键(而不是文件内容)进行全文搜索bucket_name/ folder1/
notthatimportantfile我最后一次尝试的是使用Amazon和Athena，但是当我创建一个Crawler并在Glue中运行它时，它会为每个文件创建一个表，而我想要的是在每个第一级文件夹中创建一个包含
浏览 1提问于2019-03-05得票数 0
我对AWS雅典娜和正则表达式非常陌生，我们将日志存储在S3存储桶中，并尝试使用雅典娜来查询puposes。=\s) [^|]*$", ) LOCATION 's3://monkey-business-dev/banana/tree/peel-log/2018-03-13
浏览 0提问于2018-04-10得票数 2
我在亚马逊网络服务上的s3存储桶中有3个SQL数据库，我想将它们上传到redshift。我了解到，将它们转换为一些大数据格式会更好，因为在这些格式中查询红移成本和性能总体上会更好。如何将我的数据库转换为这些格式？请询问可能需要的任何进一步信息。谢谢
浏览 2提问于2020-12-15得票数 0
运行select * from tableName时，在AWS雅典娜中出现以下错误：当我运行select * from tableName where col1 is not null时。我关心的是:为什么select * from tableName没有哪里的条件给我<em
浏览 0提问于2021-09-06得票数 1
1回答
我试图创建一个基于CSV文件的外部表。我的问题是，并非所有CSV文件都是相同的(有些CSV文件中有缺失的列)，列的顺序也不总是一样的。问题是我是否可以让雅典娜按名称来解析列，而不是按它们的顺序来解析。
浏览 2提问于2019-10-31得票数 3
1回答
雅典娜表-文件路径
、、、、
我想使用S3桶在雅典娜中创建一个表，但是首先我想知道是否有任何方法将子目录的名称(文件的源数据)作为这个表中的一个新列。如果是的话，我应该使用哪种语法？如果这是不可能的，我至少需要该新列中文件的路径。提前谢谢你！
浏览 1提问于2020-06-24得票数 0
回答已采纳
也许我错过了一些东西，但我无法理解，如果我把雅典娜和QuickSight连接在一起，而不是直接将QuickSight与S3连接起来，我会得到什么好处。请帮助我理解这一点。
浏览 3提问于2017-11-17得票数 7
回答已采纳
我在S3存储桶清单上运行SELECT雅典娜查询。然后，我想在S3批处理操作中使用.csv格式的查询结果。我的查询运行良好，并且我能够通过S3 Batch访问.csv输出，但是由于第一行实际上是列标题，S3 Batch to抛出了一个不可恢复的错误，因为它认为清单现在引用了多个存储桶。如何轻松地将列标题从结果中剥离出来？我更喜欢用SQL做这件事。文
浏览 8提问于2019-06-26得票数 4
1回答
我需要找到S3桶中每个目录的大小。我知道通过AWS S3控制台中的get大小选项很容易实现，但是我有很多目录需要检查，手动检查每个目录的大小似乎很繁琐。我在寻找通过雅典娜获得尺寸的有效方法
I可以将S3内容导出到雅典娜表，但是有任何方法可以通过查询来计算内容的大小吗？
浏览 2提问于2020-08-17得票数 0
回答已采纳
2回答
我有几个按日期分区的雅典娜数据库和表。我想将底层的S3存储桶移动到不同的存储类中，这取决于这些表的查询频率。我正在考虑在这些表的底层存储桶上启用S3存储类分析。我想知道在使用亚马逊S3分析查看底层S3存储桶的数据访问模式时，是否会显示对这些表/分区的雅典娜查询。例如
浏览 33提问于2020-07-17得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
