腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
Athena
-
抓取
存储
桶
中
的
最新
文件
、
我是雅典娜和S3
的
新手。我们将雅典娜设置为访问连接到数据库
的
S3
存储
桶
,每个
存储
桶
每天保存相同
的
数据表。a.creation_date<='2018-12-31' ORDER BY a.creation_date desc, a.business_name asc 我正在尝试弄清楚是否有一种方法可以动态查询
最新
的
可用表/<username>/
athena</e
浏览 13
提问于2019-02-19
得票数 0
1
回答
如何通过AWS Glue获取
最新
数据
、
我在AWS
中
管理一些数据,S3
桶
中有一些拼花
文件
。每天,新
的
文件
将添加到这个
桶
中
,我想通过使用
Athena
获取
最新
文件
中
的
数据。 我想知道如何在雅典娜查询中指定
最新
的
文件
路径。是否可以从每个拼花
文件
的
路径
中
识别出
最新
的
文件
浏览 6
提问于2021-12-02
得票数 1
回答已采纳
1
回答
AWS Glue crawler -在爬行json数据时获取“内部服务异常”
、
、
我面临着从S3
存储
桶
中
爬行数据
的
问题。当我尝试从S3
抓取
这些数据时,我得到了“内部服务异常”。JSON :行不是有效
的
HIVE_CURSOR_ERROR对象- JSONException:重复键 谢谢,..
浏览 14
提问于2020-02-24
得票数 1
1
回答
AWS Glue Crawler将所有数据发送到Glue Catalog和
Athena
,而无需Glue Job
、
、
我对AWS胶水有新
的
了解。我正在使用AWS Glue Crawler从两个S3
存储
桶
中
抓取
数据。我在每个
存储
桶
中都有一个
文件
。AWS Glue Crawler在AWS Glue Data Catalog
中
创建了两个表,我还可以在AWS
Athena
中
查询数据。我
的
理解是为了在雅典娜
中
获取数据,我需要创建胶水作业,这将在雅典娜中提取数据,但我错了。Glue craw
浏览 62
提问于2021-10-08
得票数 1
回答已采纳
1
回答
如何用ODBC连接雅典娜和Power BI
、
、
我增加了适当
的
水桶政策。"
athena
:GetNamespace", "
athena
:GetQueryExecution"
athena
:GetTable", "
athe
浏览 1
提问于2019-11-14
得票数 1
回答已采纳
2
回答
将S3
文件
合并为多个<1GB
的
S3
文件
、
、
、
我在一个
桶
中有多个S3
文件
。假设有50个这样
的
文件
。
文件
中
的
数据具有相同
的
模式,比如attribute1, attribute 2。我希望将这些
文件
合并到一个新
的
桶
中
,如下所示,这样,在相同
的
模式
中
,每个
文件
的
容量都小于1GB。我正在考虑以下两种解决办法: AWS雅典娜-读和写到S3,但不确定我是否可以设置
浏览 17
提问于2022-06-30
得票数 0
1
回答
如何将RabbitMQ消息以csv
文件
格式传输到亚马逊S3
存储
桶
中
,并使用雅典娜查询
存储
桶
?
、
、
、
、
我正在开发一个能够读取RabbitMQ消息并将其传输到亚马逊S3
存储
桶
中
的
硬应用程序。 RabbitMQ消息应该以.csv
文件
格式
存储
在S3
存储
桶
中
。亚马逊S3
存储
桶
应连接到AWS
Athena
以对其进行查询。 有澄清的人能帮我吗?
浏览 13
提问于2019-04-15
得票数 0
2
回答
如何从lambda
中
的
事件
中
获取
文件
的
s3
存储
桶
名和键
、
、
我们在一个lambda函数上设置了一个触发器,并希望在
最新
的
文件
被放入S3
存储
桶
中
时从该
存储
桶
中
获取该
文件
。
文件
名将会更改。我们想要从事件
中
抓取
文件
对象,但不知道如何
抓取
。现在,我们已经将直接
文件
名写为lambda函数
中
的
变量,并在本地对其进行测试。它似乎可以工作,但是我们想
浏览 0
提问于2018-12-22
得票数 3
2
回答
雅典娜如何从S3
存储
桶
中
读取拼图
文件
、
、
、
、
我可以制作拼花面板
文件
,可以通过拼花面板视图查看。我可以创建指向s3
存储
桶
的
雅典娜表。但是,当我在
Athena
Web GUI
中
查询该表时,它运行了10分钟(似乎永远不会停止),并且没有显示任何结果。 fastparquet.write(r"test.parquet",
浏览 18
提问于2018-09-06
得票数 0
1
回答
s3
存储
桶
中
为什么会出现空
的
txt对象?我可以控制保存它们
的
位置吗?
、
、
、
、
一些lambda将对象从一个
存储
桶
复制到另一个
存储
桶
,还有一些在
athena
中
运行查询并生成拼图
文件
。在状态机执行结束时,
存储
桶
中会出现空
的
txt
文件
。我没有在亚马逊网络服务
的
文档中找到,也没有在boto3
中
找到对此
的
解释。我能否将aws定义为不保存这些
文件
/或设置位置?
浏览 3
提问于2020-08-26
得票数 0
1
回答
使用AWS
Athena
在S3
存储
桶
中
创建指向多个子
文件
夹
的
表
、
、
、
是否有创建指向多个s3
存储
桶子
文件
夹
的
表
的
选项。示例: s3://
athena
-my- bucket /Test/location1和s3://
athena
-my-bucket/Test/location2有几个像location3、location4、location5这样
的
文件
夹,但是我想创建一个只指向s3
存储
桶
上这两个子
文件
浏览 0
提问于2020-08-25
得票数 0
1
回答
来自S3
的
CSV
文件
的
数据掩蔽
、
、
、
我
的
公司在德国工作,我们有一些处理数据
的
规则。 我在
存储
桶
中有CSV
文件
。这些
文件
也有一些PII (公开可识别信息)和非PII数据。我想屏蔽PII数据并将其保存在同一
存储
桶
中
。我想在做最终报告时揭开它
的
面纱。
浏览 13
提问于2021-04-09
得票数 0
回答已采纳
1
回答
使用AWS胶水爬虫
的
智能采样
、
、
、
我
的
s3
存储
桶
上有几张桌子。这些表在内存大小和
文件
数量上都很大,它们
存储
在JSON
中
(我知道这不是最好
的
),并且有很多分区。现在我想启用AWS Glue data Catalog和AWS Glue Crawlers,但是爬虫遍历所有数据
的
代价让我感到害怕。 模式不会经常更改,因此没有必要遍历S3上
的
所有
文件
。爬虫会默认浏览所有的
文件
吗?有没有可能配置一种更智能
的
采样策略,只查看部分
浏览 14
提问于2019-10-21
得票数 0
5
回答
boto3 (S3位置无效)雅典娜查询失败
、
、
、
但是,如果我转到雅典娜控制台,转到Settings并输入相同
的
S3位置(例如):查询运行良好。Python: 3.6.1。Boto3: 1.4.4
浏览 11
提问于2017-07-25
得票数 6
回答已采纳
1
回答
AWS雅典娜创建外部表是否成功,即使AWS s3
中
没有
文件
?
、
、
、
、
"quoteChar" = "'",) location 's3://bucket_name/
athena
-workspace/
athena
-input/'上面的查询
浏览 2
提问于2020-06-10
得票数 0
1
回答
AWS
Athena
外部表未返回数据
、
、
我使用下面的DDL脚本在
Athena
中
创建了一个外部表。表在
Athena
中
创建成功,但是当我查询它时,它返回0行。指定
的
s3
存储
桶
中
的
文件
是csv.gz
文件
(我正尝试在TBLPROPERTIES中排除一个json
文件
)。s3
存储
桶
所在
的
帐户与我查询它
的
帐户不同。假设我使用
的
IAM角色有权从另一
浏览 2
提问于2020-10-15
得票数 0
1
回答
S3登陆
桶
中
缺少雅典娜输出
文件
,即使设置了PutObject权限
、
、
在检查了我
的
权限、角色和策略之后,我怀疑我有权限写入S3
中
的
雅典娜输出位置,但由于某种原因,每当一个
文件
在输入S3
桶
上触发S3查询以在Lambda python集成
中
运行大型查询时,我注意到:我不知道为什么。我在雅典娜做了一个Alter,以确保表也指向正确
的</em
浏览 2
提问于2021-09-29
得票数 0
回答已采纳
2
回答
将SQL /J连接到Amazon时出错
、
、
我在通过JDBC连接器将SQL /J连接到
Athena
时遇到了很多问题。此外,这两种帮助资源之间
的
说明似乎有所不同: SimbaJDBC连接被拒绝: SimbaJDBC必需连接键: AwsRegion;SimbaJDBC可选连接键:
浏览 6
提问于2017-12-27
得票数 0
回答已采纳
2
回答
如何在AWS Glue/
Athena
上使用AVRO格式
、
、
、
我在Kafka中有几个主题,正在将AVRO
文件
写入S3
存储
桶
中
,我想使用AWS
Athena
在
存储
桶
上执行一些查询。我正在尝试创建一个表,但AWS Glue crawler运行,并且没有添加我
的
表(如果我将
文件
类型更改为JSON,它将起作用)。我试图从雅典娜控制台创建一个表,但它不显示对AVRO
文件
的
支持。
浏览 16
提问于2019-06-26
得票数 2
1
回答
将雅典娜查询结果输出到与Lambda不同
的
AWS帐户
中
的
s3
存储
桶
中
、
、
、
我正在尝试设置一个lambda来每天运行一个AWS
Athena
查询,并将结果输出到
存储
在不同AWS帐户
中
的
s3
存储
桶
中
。我正在编写Lambda
的
帐户在另一个帐户
中
具有s3写权限,我只是不知道如何输入我想要写入
的
特定
存储
桶
,并且我也找不到任何关于此用例
的
文档。AWS帐户
中
时,我
的
查询运行良好。我不能只写"s3:
浏览 1
提问于2020-03-06
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
MongoDB最新发布、OpenSSH增加对存储在RAM中的私钥的保护、谷歌启动位置记录的删除控件…
通过最新的磁带存储系统,昆腾扩展了公司在超大规模归档环境中的领导地位
Docker学习笔记3-基于docker compose做应用编排/构建mysql数据库镜像
微软开始在Windows 10 19H1中测试文件资源管理器的最新改进
全球Amazon S3公开存储桶中有2%未受写入保护
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券