腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
通过
Athena
SDK
创建
胶水
数据
目录
、
、
、
我想使用雅典娜对另一个亚马逊网络服务账户的S3存储桶中的
数据
进行查询。我正在使用Javascript
SDK
。通读 文档 ,我知道我必须首先
创建
一个
数据
目录
,将雅典娜指向正确的S3位置。此方法的大多数参数都是不言而喻的,除了“参数”参数,它似乎包含有关如何
创建
数据
目录
的信息。但是我在任何地方都找不到这些参数应该是什么样子的。 所以我的问题是: 这里要提供的参数是什么?这是
创建
glue
数据
目录
(包括<
浏览 33
提问于2021-02-16
得票数 1
回答已采纳
1
回答
无法
创建
新的AWS
Athena
数据
目录
、
我正在尝试在雅典娜
创建
新的
胶水
数据
目录
。它总是失败,返回INVALID_INPUT,没有其他错误上下文。这是我正在使用的https://docs.aws.amazon.com/
sdk
-for-ruby/v3/api/Aws/
Athena
/Client.html#create_data_catalog-instance_methodrequire 'aws-
sdk
-
athen
浏览 13
提问于2020-09-25
得票数 1
1
回答
如何在不运行爬虫的情况下更新aws
胶水
表中现有的分区
数据
?
、
、
、
当我们使用手动上传到s3桶更新现有分区中的
数据
时,这些
数据
将显示在雅典娜
胶水
表中的现有分区中。但是当使用API更新
数据
时,上传到s3桶中的
数据
在现有分区中,而在
胶水
表中的
数据
存储在当前日期的不同分区中,但是在我的different(s3://aiq-grey-s3-sink-created-at-partition所以,当我在
胶水
表中检查相同的对象时,我想在2022/07/19之前完成分区。 但是它按
浏览 9
提问于2022-08-03
得票数 0
1
回答
将
数据
从API端点拉入AWS
、
、
所以我是API的新手,我有这样的用例:有订单历史记录存储在一个位置上,而供应商已经将这些作为API端点公开(给定一个URL以及API键/参数等),我想提取这些
数据
并将其带到我的Redshift表中。现在,我正在探索GLUE,因为它具有作业
创建
/调度功能,但是GLUE只支持使用JDBC协议的少数
数据
源以及几个非本机
数据
源。我找不到任何特定于Glue从API端点拉取
数据
的东西。
浏览 18
提问于2019-12-20
得票数 1
1
回答
如何用ODBC连接雅典娜和Power BI
、
、
:BatchGetQueryExecution", "
athena
:GetCatalogs"
athena
:GetNamespace", "
athena
:GetQueryExecuti
浏览 1
提问于2019-11-14
得票数 1
回答已采纳
1
回答
亚马逊雅典娜能否在没有
胶水
目录
的情况下工作?
、
、
我可以在AWS中使用Informatica EDC而不是Glue
目录
吗?AWS
Athena
是否与Glue
目录
紧密耦合?
浏览 14
提问于2020-09-10
得票数 0
2
回答
AWS
胶水
目录
作业上的MSCK修复命令
、
我们是否可以安排AWS
胶水
作业执行MSCK修复命令,以便将新添加分区的元
数据
添加到
胶水
目录
中? Glue ETL脚本可以在不调用
Athena
的情况下执行MSCK修复表命令吗?
浏览 0
提问于2018-04-10
得票数 2
1
回答
使用Terraform
创建
雅典娜资源
、
、
、
我想
通过
Terraform
创建
一个雅典娜
数据
库,包括表和视图。命令来
创建
这些资源,例如:AWS
Athena
Create table view with SQL 但我不想这么做。我想(尽可能)用Terraform
创建
所有东西,这样我就不必担心生命周期等问题了。 据我所知,雅典娜
数据
库可以是Glue
数据
库,这取决于您选择的源。如果我选择AWSDataCatalog (
胶水
)作为雅典娜中的
数据
源,那么我用Terrafo
浏览 18
提问于2020-10-06
得票数 0
1
回答
AWS雅典娜-合并小拼图文件或离开它们?
、
、
我有很多小拼图文件是
通过
AWS
胶水
读取到雅典娜的。我知道小的拼图文件(每个35k左右,因为日志输出它们的方式)并不理想,但是一旦它们被读取到
数据
目录
中,它还重要吗?换句话说,在加载到
Athena
之前,我是否应该将所有小拼图文件合并到更理想大小的文件中?
浏览 14
提问于2021-03-27
得票数 1
回答已采纳
1
回答
运行AWS
Athena
query Query时返回零条记录
、
parquetcheck" limit 10; 尝试在S3中使用Parquet文件,并在AWS
Athena
中
创建
了一个表,它被
创建
得很完美。虽然我在S3中的拼图文件有
数据
。 我也
创建
了分区。IAM对雅典娜有完全访问权限。
浏览 15
提问于2019-12-17
得票数 0
3
回答
(AWS)雅典娜:查询结果似乎太短
、
、
、
设置:
Athena
Cap是否查询结果
数据
?
浏览 0
提问于2018-01-19
得票数 5
1
回答
如何
创建
雅典娜堆栈并使用Glue
数据
目录
?
、
、
、
我必须在云形成中
创建
雅典娜模板,任务是使用CF复制下一个Terraform脚本: name= "sample_
athena
_wg" name = &qu
浏览 13
提问于2022-03-16
得票数 0
3
回答
使用AWSGlue作为
数据
在S3中的蜂窝元存储
、
、
我试图使用AWSGlue作为一个外部转移,
通过
电子病历集群的蜂巢。当我将ssh放入电子病历集群并尝试访问Hive时,我希望在运行“显示表”命令时,会发现我在AWSGlue中
创建
的表将存在,但在启动交互式Hive时,我会得到以下错误消息java.lang.RuntimeException: org.apache.hadoop.hive.ql.metada
浏览 2
提问于2018-12-12
得票数 2
2
回答
AWS雅典娜输出result.json到s3 -
创建
表作为/插入到选择?
、
、
、
用AWS雅典娜进行新
数据
的CREATE TABLE有可能吗? 我知道AWS雅典娜自动将结果写入S3桶作为CSV。
浏览 2
提问于2018-01-05
得票数 0
2
回答
从Glue Catalog和Glue Py Spark脚本中的动态路径同步CSV文件
、
、
、
现在我想使用AWS glue for ETL将
数据
从S3传输到Redshift。要使用它,我如何在
数据
目录
中添加S3路径?我只想同步最近使用的文件夹CSV文件。
浏览 1
提问于2019-09-19
得票数 0
1
回答
从雅典娜获取
数据
和粘合权限
、
、
、
我正在使用这里列出的代码
通过
雅典娜https://gist.github.com/schledererj/b2e2a800998d61af2bbdd1cd50e08b76查询
数据
。
浏览 17
提问于2019-03-07
得票数 1
回答已采纳
1
回答
AWS Glue Python作业未
创建
新的
数据
目录
分区
、
、
、
、
我使用Glue Studio
创建
了一个AWS
胶水
作业。它从Glue data Catalog中获取
数据
,执行一些转换,然后写入不同的Data Catalog。在配置目标节点时,我启用了在运行以下命令后
创建
新分区的选项:作业成功运行,
数据
以正确的分区文件夹结构写入S3,但没有在实际的
数据
目录
表中
创建
新分区-我仍然需要运行
胶水
爬虫来
创建
它们。生成的脚本中负责
创建
分区的代码如下(作业的最后两行
浏览 5
提问于2021-03-19
得票数 5
1
回答
Spark EMR S3处理大量文件
、
、
、
、
我在S3中有大约15000个文件,每个文件包含几分钟的
数据
,每个文件的大小在300-700MB之间。由于递归地循环访问YYYY/MM/DD/HH24/MIN格式的
目录
代价很高,因此我
创建
了一个包含给定日期所有S3文件列表的文件(objects_list.txt),并将该文件作为输入传递给spark read我只看到驱动程序在工作,所有节点都没有做任何事情,不确定为什么驱动程序要打开每个S3文件进行读取,因为AFAIK spark工作懒惰,所以在一个称为读取的操作之前,我认为它会列出每个文件并收集一些与
浏览 2
提问于2017-10-09
得票数 3
1
回答
胶水
-将CSV事件转换为Parquet的作业
、
、
、
、
My的方法:首先,我
创建
了一个用于爬行csv_events的
胶水
爬虫,并
创建
了一个
athena
_table(csv_events_table)。然后
创建
一个Glue作业,它将以csv_events_table作为输入,并将这些事件转换为拼图,并将结果存储到S3中。最后,为这个parquet_events(parquet_events_table)
创建
另一个表。我的方法类似于这样: 它运行得很好,但我最终得到了两个
athena
_tables(csv_events_tab
浏览 3
提问于2020-07-31
得票数 2
1
回答
创建
AWS
胶水
作业需要爬虫吗?
、
、
、
、
我正在
通过
下面的页面:来学习“用Pyspark来学习Glue”。 我的问题是:
创建
胶水
作业需要爬虫&在湖中
创建
数据
库吗?我的aws角色有一些问题,我没有被授权在LakeFormation中
创建
资源,所以我想我是否可以跳过它们,只
创建
一个
胶水
作业并测试我的脚本?我是否可以使用boto3
创建
一个
胶水
作业来测试脚本并对
数据
进行预处理并将
数据
写回s3?
浏览 3
提问于2021-02-07
得票数 3
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Docker学习笔记3-基于docker compose做应用编排/构建mysql数据库镜像
数据:通过Unstoppable Domains域名创建的网站总数已达3万
通过深度学习从X射线数据创建三维可视化
国内首款 Serverless MySQL 数据库!
开发SDK和平时写代码体验不同吗?
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
活动推荐
运营活动
广告
关闭
领券