腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
如何
使用
SQL
或
Python
在
amazon
redshift
中
从
amazon
snowflake
重新
创建
数据库
表
?(
全部
重建
一次
,
而
不是
一个
接
一个
)
python
、
sql
、
amazon-web-services
、
amazon-redshift
、
snowflake-cloud-data-platform
我正在尝试将
数据库
表
移动到
amazon
redshift
,但为了做到这一点,我必须在
redshift
中
重新
创建
空
表
。 参见here。 我需要的是一种以某种方式
一次
性
重新
创建
它们的方法。不像上面的链接那样,
一个
接
一个
地做,因为有很多表。 原始
数据库
在
amazon
sno
浏览 23
提问于2020-03-31
得票数 1
2
回答
如何
实时加载到亚马逊红移?
amazon-s3
、
aws-lambda
、
amazon-redshift
、
data-warehouse
、
amazon-kinesis-firehose
我们正在评估
Amazon
的实时数据仓库。实时数据加载到
Amazon
的最佳实践是什么?我们应该
使用
JDBC并执行INSERT INTO语句,还是尝试
使用
Kinesis,或者AWS?我担心
使用
这些服务
中
的一种,因为这两种服务都将
使用
Amazon
作为中间层,并执行COPY命令,该命令适用于较大的数据集,
而
<e
浏览 2
提问于2017-01-14
得票数 10
回答已采纳
5
回答
AWS Glue to
Redshift
:重复数据?
python
、
amazon-web-services
、
amazon-s3
、
amazon-redshift
、
aws-glue
以下是我
如何
设置内容的一些要点: 我已经将CSV文件上传到S3,并设置了胶水爬虫来
创建
表
和模式。我有
一个
Glue作业设置,它
使用
JDBC连接将数据
从
Glue
表
写入我们的
Amazon
Redshift
数据库
。Job还负责映射列和
创建
红移
表
。通过
重新
运行作业,我
在
redshift
中
得到了重复的行(正如预期的那样)。
浏览 0
提问于2018-09-19
得票数 0
3
回答
如何
使用
AWS DMS从
一个
地区到另
一个
地区?
amazon-web-services
、
aws-dms
、
aws-regions
我正在尝试
使用
AWS将数据
从
巴黎地区( eu-west-3 )的源
数据库
( AWS )转移到爱尔兰地区( eu-west-1 )的目标
数据库
()。目标是不断复制正在进行的更改。我遇到了这样的错误: 所以我想
浏览 0
提问于2018-09-03
得票数 1
回答已采纳
1
回答
Redshift
的COPY命令可以复制多个
表
吗?
mysql
、
postgresql
、
amazon-web-services
、
amazon-redshift
、
data-migration
我希望将一些MySQL
数据库
移到
Amazon
的云上。目前,我正在
创建
一个
Python
脚本,将
表
转换为CSV,对它们进行加密,将它们放入S3
中
,然后将数据复制到
Redshift
中
。但是,按照设置的方式,我必须
一次
只复制
一个
表
。我已经读过,您可以将数据分割成多个文件并并行上传,但是我相信这仍然仅用于将数据加载到
一个
表
中
。有办法<em
浏览 0
提问于2018-06-21
得票数 1
3
回答
Spring Batch可以与
Amazon
Redshift
一起
使用
吗?
spring-batch
、
amazon-redshift
我正在尝试
使用
Spring Batch (4.0.1.RELEASE)与
Amazon
Redshift
配合
使用
。我解决了
Redshift
缺乏对sequences 支持的第
一个
主要问题。然而,现在我
在
尝试运行作业时遇到了这样的情况:org.springframework.dao.Invali
浏览 0
提问于2018-12-20
得票数 1
2
回答
Glue爬虫
如何
在红移
表
中加载数据?
amazon-web-services
、
amazon-s3
、
web-crawler
、
amazon-redshift
、
aws-glue
我是
一个
新的AWS用户,对它的服务感到困惑。
在
我们的公司
中
,我们将数据存储
在
S3
中
,因此我
在
s3
中
创建
了
一个
桶,并
创建
了
一个
AWS爬虫来将这个
表
加载到
Redshift
表
(我们
在
公司
中
通常这样做),我
在
Redshift
上成功地看到了这一点。根据我的研究,Glue爬虫应该在Glu
浏览 2
提问于2021-05-20
得票数 2
回答已采纳
3
回答
将数据
从
Athena
或
Redshift
源到Sage maker
或
AWS Forecast,
而
不是
平面文件
amazon-s3
、
amazon-redshift
、
amazon-athena
、
amazon-sagemaker
我正在尝试将数据
从
雅典娜
或
Redshift
直接提供给Sage maker
或
AWS Forecast,
而
不
使用
平面数据。
在
Sage maker
中
,我
使用
Jupyter Notebook
python
代码。有没有什么办法
在
不连接到S3的情况下这样做呢? 到目前为止,我一直
在
使用
平面数据,这
不是
我想要的。
浏览 48
提问于2019-07-10
得票数 1
6
回答
红移
中
的尺寸建模与ETL
etl
、
dimensional-modeling
、
redshift
我一直
在
研究亚马逊的
Redshift
数据库
,作为我们数据仓库未来可能的替代品。然而,最近有一篇来自AWS大数据博客的博文介绍了
如何
为星型模式优化
Redshift
:https://blogs.aws.
amazon
.com/bigdata/post/Tx1WZP38ERPGK5K/Optimizing-for-Star-Schemas-and-Interleaved-Sorting-on-
Amazon
-
Re
浏览 0
提问于2015-06-05
得票数 9
1
回答
每次运行COPY命令时都应该
创建
表
吗?
python
、
mysql
、
postgresql
、
amazon-web-services
、
amazon-redshift
我的任务是将MySQL
数据库
移到
amazon
。目前,我正试图通过2)将它们存储
在
S3
中
4)
使用
COPY命令将数据
从
S3传输到
redshift
我正在
使用
Python
来尝试自动化这个过程,并在进入S3的过程中
使用
但是,按照我现在的流程,我必须在
Redshift
中
为S3
中</em
浏览 0
提问于2018-06-12
得票数 2
2
回答
BigQuery和基于GCP的存储有什么不同?
google-bigquery
、
google-cloud-storage
大家好,我是第
一次
使用
GCP,当我
使用
模拟数据浏览
一个
项目的云函数示例时,我对每个云函数的异同感到困惑,我想要更清楚地了解它们的不同之处,因为对我来说,它们看起来太相似了。
浏览 21
提问于2021-02-25
得票数 1
回答已采纳
1
回答
如何
将堡垒主机用于SSH到
Redshift
python
、
amazon-ec2
、
amazon-redshift
、
putty
、
ssh-tunnel
我一直
在
试图找出
如何
连接到
Amazon
集群时,它们是私有的,
而
不是
公开的。我正试图安全地将数据
从
当前的MySQL DB转移到
Redshift
中
的集群。目前,我有
一个
Python
,它
创建
数据的CSV,将其放入S3,为数据
创建
一个
表
,然后
使用
COPY将其放入
Redshift
中
。我们正在
使用
浏览 0
提问于2018-07-11
得票数 1
2
回答
亚马逊红移有自己的存储后端吗?
amazon-web-services
、
amazon-redshift
、
amazon-redshift-spectrum
我刚接触过
Redshift
,并对
Redshift
的运作方式做了一些澄清:
Amazon
是否有自己的后端存储平台,还是依赖S3将数据存储为对象,
Redshift
仅用于查询、处理和转换,并有临时存储
从
S3
中
提取特定的片段并进行处理从这个意义上说,
redshift
是否有自己的后端云空间,如oracle
或
Microsoft,它们都有自己的物理服务器存储数据?因为,如果我要从传统的关系
数据库
系统迁移到
Redshift
,因为卷的
浏览 5
提问于2020-05-07
得票数 6
回答已采纳
3
回答
AWS红移数据处理
python
、
database
、
amazon-web-services
、
amazon-redshift
我目前正在与一家小公司合作,该公司将他们所有的应用程序数据存储
在
AWS红移集群
中
。我的任务是对
Redshift
集群
中
的数据进行一些数据处理和机器学习。我需要完成的第一项任务是将集群
中
的现有数据转换为一些基于一些相当简单的
SQL
逻辑的新
表
。
在
MSSQL环境
中
,我只需将所有逻辑放入参数化存储过程
中
,并通过Server代理作业对其进行调度。然而,sprocs似乎并
不是
Redshift
<e
浏览 7
提问于2017-10-07
得票数 1
2
回答
为什么Postgres选择查询
在
本地Docker容器
中
工作,
而
不是
在
Amazon
上工作?
sql
、
postgresql
、
amazon-rds
、
rails-postgresql
、
postgresql-9.6
我的团队有
一个
本地开发环境,其中包含
一个
Rails应用程序,该应用程序连接到Postgres
数据库
,以检索有关机场的一些信息并进行进一步的查询。本地环境是为了复制我们的生产环境(都运行在同
一个
码头容器
中
)。
Amazon
查询执行 应该注意的是,它成功地连接到DB,并且“成功”地
在
正确身份验证之后进行查询,因此这里的问题是查询没有正确返回当我<
浏览 4
提问于2017-10-17
得票数 1
回答已采纳
1
回答
我们能在
python
中
使用
boto3备份整个VPC吗?
python
、
amazon-web-services
、
boto3
、
amazon-vpc
、
aws-backup
目前,我正在通过
python
脚本做类似的事情,
从
VPC备份单个资源,如EC2、RDS、EFS等。我只是想知道我们是否可以立即备份整个VPC,
而
不是
使用
python
编程语言单独备份所有资源。
浏览 10
提问于2022-02-18
得票数 -1
3
回答
使用
python
从
AWS红移加载数据
python-3.x
、
pandas
、
sqlalchemy
、
amazon-redshift
我面临着一项任务,无法
从
Amazone
Redshift
中提取大量数据到另
一个
表
。这肯定需要一种更有效的方法,但我对
SQL
和AWS并不熟悉,所以决定向这个聪明的社区征求意见。这是我最初的
SQL
查询,它要花费很长时间:SELECT DISTINCT at_id, utc_time, name我正在考虑
使用
python
和sqlalchemy来
创建
包含100
浏览 0
提问于2019-01-12
得票数 0
1
回答
中
的列式
数据库
查询
amazon-web-services
、
amazon-redshift
听说它在云上是非常强大的存储,并且
在
需要聚合操作的数据上工作得非常快,因为它按列存储数据。 找不到任何示例查询吗?有人能和我分享一些运行在
Amazon
上的聚合查询的例子吗?它与普通关系
数据库
查询不同吗?
浏览 1
提问于2017-07-18
得票数 2
1
回答
如何
将
Amazon
表
直接复制到
中
?
amazon-web-services
、
amazon-s3
、
amazon-redshift
、
amazon-athena
我
在
S3
中
有一些JSON文件,我能够从这些数据文件
在
Athena
中
创建
数据库
和
表
。已经完成了,我的下
一个
目标是将
创建
的
表
复制到
中
。
在
Athena
中
还有其他
表
,我是在这些数据文件的基础上
创建
的。我的意思是,我
使用
S3
中
的数据文件
创建
了三个
表
,后者
使用<
浏览 0
提问于2020-03-09
得票数 1
回答已采纳
1
回答
表列声明为varchar(max),但强制为varchar(255)
r
、
amazon-redshift
、
rjdbc
、
google-search-console
我正在编写
一个
数据提取工具,
从
Google搜索控制台(从现在开始)加载数据,并将其存储
在
Amazon
(AR从现在起)
数据库
中
。我编写了
一个
函数来解析来自GSC的数据帧上的元素,以确定在AR上
创建
表
时的字段结构。我传递完整的数据框架,函数
从
第一行提取所有相关信息,给出在AR上
创建
表
所需的结构。因此,基本上,此代码所做的是
从
GSC收集数据帧,确保指定提取的
表
浏览 0
提问于2018-09-14
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Apache DolphinScheduler 正式发布3.0.0 版本
数据湖和SQL并不矛盾
Navicat Premium-智能数据库设计器
数据库开发工具 Navicat Premium v 简体中文版
TablePlus中文版分享
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券