腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(765)
视频
沙龙
1
回答
Airflow
-
使用
红
移
运算符
将
数据
从
Postgres
加
载到
S3
失败
postgresql
、
amazon-redshift
、
airflow
由于没有
将
数据
从
Postgres
加
载到
S3
的方法,我尝试
使用
红
移
操作符来执行此操作,但收到以下错误: [2020-05-03 18:53:07,359] {taskinstance.py:669} INFO) 我
使用
这个作为我的DAG: from
airflow
.operators.redshift_to_s3_operator import RedshiftToS3Transfer from da
浏览 15
提问于2020-05-04
得票数 0
回答已采纳
1
回答
对于此场景,如何开始
使用
Amazon服务?
java
、
python
、
amazon-web-services
、
amazon-ec2
这就是我想要做的: 我
将
数据
文件下
载到
linux安装中。我认为根据安装应该能够
从
我的EC2实例,甚至
从
我的本地机器连接到
Postgres<
浏览 3
提问于2014-06-23
得票数 0
回答已采纳
1
回答
将
pg_dump
从
s3
加
载到
红
移
amazon-s3
、
amazon-redshift
、
pg-dump
我正在尝试
将
一个完整的
数据
库转储加
载到
Redshift中。是否有一个命令可以
将
生活在pg_dump上的
s3
中的
数据
恢复到Redshift中?如果没有,解决这一问题的最佳步骤是什么? 谢谢
浏览 3
提问于2017-11-30
得票数 2
回答已采纳
2
回答
如何
将
键值格式的日志文件转换为
红
移
(来自
S3
或直接应用服务器)
amazon-web-services
、
amazon-redshift
、
aws-lambda
、
amazon-kinesis
、
amazon-cloudwatchlogs
因为这是非结构化的想法,我应该放入dynamodb,但是对于分析,
红
移
更好。我也可能不需要将所有键值持久化到
红
移
,但这是可选的。我没有想过的几个选择:
使用
获取流上的日志文件。但是,
使用
这些日志文件的最佳方法是什么呢?我曾经想过的一个选择是移动代理格式化程序
将
文件格式化为J
浏览 6
提问于2016-07-07
得票数 1
回答已采纳
1
回答
如何有效地
将
数据
从
Postgres
传输到Amazon?
python
、
postgresql
、
amazon-web-services
、
amazon-redshift
在我的机器上,我的本地
Postgres
数据
库中有这么多
数据
。我需要对这个本地
数据
库中的
数据
进行反分类,并获得一个特定格式的查询集,该查询集可以
使用
Python直接加
载到
红
移
表中。我确实有一些查询,可以在本地
数据
库上运行,并获得需要直接加
载到
红
移
的特定格式的查询集。 但是有这么多的
数据
,我需要从本地移动到
红
移
。现
浏览 2
提问于2019-10-09
得票数 2
回答已采纳
1
回答
将
大
数据
从
vertica迁移到
红
移
的最佳方法是什么?
amazon-web-services
、
vertica
、
amazon-redshift
我们在AWS上托管了vertica,
数据
库的总大小为500 db。那么,
将
数据
从
vertica迁移到
红
移
的最快方法是什么?一种方法是 有什么更好的方法吗?
浏览 3
提问于2013-10-03
得票数 1
回答已采纳
2
回答
使用
Talend
将
CSV
数据
直接上传到Amazon Redshift
amazon-web-services
、
amazon-redshift
、
talend
可以不通过亚马逊
S3
(
使用
Talend)直接
将
数据
上传到亚马逊Redshift吗?
浏览 0
提问于2018-02-16
得票数 0
1
回答
AWS
数据
湖
excel
、
amazon-web-services
、
amazon-s3
、
amazon-athena
、
data-lake
您需要
使用
胶水摄取excel和其他专有格式吗?还是允许胶水在您的
数据
湖中爬行
s3
桶以
使用
这些
数据
格式?基于流程流,他们会将
数据
上
载到
提交
s3
桶中,这将引发一系列操作,但没有
将
数据
转换为与其他工具一起工作的格式。
使用</em
浏览 4
提问于2017-09-21
得票数 2
回答已采纳
1
回答
以拼花格式
将
红
移
数据
卸
载到
S3
amazon-redshift
我试图
将
红
移
数据
卸
载到
S3
,但它正在以CSV格式卸载。如何
使用
Java
将
红
移
表以拼花格式卸
载到
S3
桶中?
浏览 2
提问于2022-05-06
得票数 -1
1
回答
将
csv
数据
加
载到
Redshift中
amazon-web-services
、
amazon-kinesis
、
amazon-kinesis-firehose
、
amazon-kinesis-kpl
、
amazon-kinesis-agent
我正在
使用
Kinesis消防软管处理
数据
为
红
移
,我正在尝试Json和Csv格式。
从
'
s3
://foldername/‘凭据’products_json _iam_role=arn:aws::/‘json 'auto';中复制aws消防软管的放置CSV时,<
浏览 6
提问于2017-02-28
得票数 0
回答已采纳
2
回答
将
流
数据
插入到Amazon集群中
amazon-web-services
、
spark-streaming
、
amazon-redshift
我试图
将
火花流
数据
直接插入到Amazon集群中,但无法找到正确的方法。 下面是我得到的代码,但它第一次插入
S3
,然后复制到Redshift:。
浏览 0
提问于2018-01-29
得票数 0
回答已采纳
2
回答
是“插入选择”,不受
红
移
中的竞赛条件影响。
database
、
concurrency
、
data-warehouse
、
amazon-redshift
我们有一个
数据
仓库系统,需要将
s3
上以csv格式显示的
数据
加
载到
红
移
表中。唯一的限制是只有唯一的记录被插入
红
移
。创建一个临时表。
将
S3
文件复制到TEMOPRARY表中。开始交易 插入到{主
红
移
表} select
从
列上的{连接在暂存表和主
红
移
表之间,该表应该是唯一的
浏览 2
提问于2016-05-09
得票数 0
2
回答
从
PostgreSQL到AWS
S3
的
数据
移动和RedShift频谱分析
postgresql
、
amazon-web-services
、
apache-spark
、
amazon-redshift
、
amazon-redshift-spectrum
我有大量不同模式的PostgreSQL表,以及其中的大量
数据
。首先,我想问一问-这个解决方案会起作用吗?第二个- RedShift谱是否能够在不
浏览 0
提问于2018-11-05
得票数 1
回答已采纳
3
回答
使用
动态
将
S3
加
载到
红
移
amazon-s3
、
amazon-kinesis
、
amazon-kinesis-firehose
、
amazon-kinesis-kpl
、
amazon-kinesis-agent
我收到我的源文件在
S3
,我需要加载这些
数据
的
红
移
。 via Kinesis要求:我想知道我是否可以
使用
Kinesis<em
浏览 8
提问于2017-05-22
得票数 0
2
回答
Glue爬虫如何在
红
移
表中加载
数据
?
amazon-web-services
、
amazon-s3
、
web-crawler
、
amazon-redshift
、
aws-glue
在我们的公司中,我们
将
数据
存储在
S3
中,因此我在
s3
中创建了一个桶,并创建了一个AWS爬虫来
将
这个表加
载到
Redshift表(我们在公司中通常这样做),我在Redshift上成功地看到了这一点。根据我的研究,Glue爬虫应该在Glue
数据
目录中创建与我的
数据
相关的元
数据
,这也是我能够看到的。以下是我的问题:我的爬虫是如何工作的,它是否
将
S3
数据
加
载到
Redshif
浏览 2
提问于2021-05-20
得票数 2
回答已采纳
2
回答
自动归档aws-
红
移
表的最佳方法
amazon-web-services
、
amazon-s3
、
amazon-redshift
、
amazon-data-pipeline
、
data-pipeline
我有一个大表的
红
移
,我需要自动化的过程归档每月的
数据
。目前的办法如下(手册):
使用
aws
数据
管道是一种好方法吗
浏览 0
提问于2018-03-22
得票数 0
2
回答
将
表从一个
红
移
集群复制到另一个
红
移
集群(不
使用
s3
)
amazon-redshift
我们可以直接
将
一个表从一个
红
移
集群复制到另一个
红
移
集群吗? 我知道表复制可以
使用
s3
作为临时存储(即从第一个集群卸
载到
s3
,然后
从
s3
复制到另一个集群)。
浏览 1
提问于2015-05-05
得票数 13
回答已采纳
2
回答
亚马逊网络服务
数据
管道访问
S3
amazon-web-services
我正在
使用
AWS Data Pipeline
将
文件
从
S3
复制到AWS Redshift表中。
S3
上的文件夹结构如下:
s3
://test/example=01
s3
://test/example=03
s3
:/&
浏览 2
提问于2016-03-03
得票数 0
3
回答
Airflow
中的S3Hook :没有'get_credentials‘属性
boto3
、
airflow
我正在
使用
s3
_ 至 _ 重新移位 _
运算符
位于 https://github.com/apache/incubator-
airflow
/blob/master/
airflow
/operators/
s3
_ 至 _
红
移
_ operator.py 当我执行它时,得到了以下错误: AttributeError: 'S3Hook' objec
浏览 93
提问于2018-07-12
得票数 2
回答已采纳
1
回答
从
MySQL到Redshift的近实时ETL
amazon-redshift
、
amazon-kinesis
、
mysqlbinlog
、
amazon-kinesis-firehose
我正试图找出最有效的方法
从
MySQL中提取
数据
,将其转换并加
载到
几乎实时的
红
移
。目前,我们有通宵ETL工艺(
使用
宾得),持续时间~40分钟,我们希望用近实时(小批1-5分钟)取代它。我找到了
从
MySQL binlog (即)与AWS连接的
数据
提取工具,我计划
使用
Apache或AWS转换和连接
数据
,并将其写入
S3
,然后
从
COPY命令将其写入Redshift。
浏览 3
提问于2017-11-20
得票数 5
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
airflow 实战系列:基于 python 的调度和监控工作流的平台
迁移工具 Air2phin 宣布开源,2 步迁移 Airflow 至 Dolphinscheduler
AWS推出Apache Airflow全托管工作流MWAA
PostgreSQL 每周新闻 2019-2-13
自学14天后,我毁掉了自己的数据工程师面试
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
云直播
活动推荐
运营活动
广告
关闭
领券