腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
Redshift
COPY
命令
中
的
强制
转换
日期
列
amazon-web-services
、
amazon-s3
、
amazon-redshift
我
的
数据具有"02JAN2020“格式
的
日期
,我想使用
COPY
命令
加载数据
copy
test.Demographics from 's3://xyz-us-east-1/Blu/'secret_access_key ’<Secret_Access_Key>’ delimiter ',' dateformat
浏览 28
提问于2020-10-23
得票数 0
1
回答
红移
中
的
Isdate函数
amazon-redshift
、
user-defined-functions
红移中有可用
的
isdate函数吗?我希望将一个变量或列传递到函数
中
,并找出该变量或
列
值是否为date。如果有任何可用
的
Udf,请更新。
浏览 1
提问于2018-07-29
得票数 1
1
回答
Redshift
COPY
语句加载
日期
格式,两位数年份(mm/dd/yy)
postgresql
、
date
、
amazon-redshift
、
y2k
我有一个用
COPY
命令
加载到
Redshift
中
的
数据源文件。06/01/79 2079-06-011979-06-01 有没有办法告诉
Redsh
浏览 5
提问于2016-02-25
得票数 2
1
回答
从拼图S3复制到红移和decimal与int类型
amazon-redshift
、
parquet
在尝试将数据从S3
中
的
Parquet复制到
Redshift
时,我遇到了这个错误:optional fixed_len_byte_array COLUMN_NAME 我怀疑这是因为拼图文件
的
numeric/decimal类型比适合INT
列
的
精度更高,但是我相信所有的实际值都在它们适合
的
范围内。有没有一种方法可以在复制时
强制
浏览 4
提问于2019-03-07
得票数 1
回答已采纳
1
回答
Redshift
:对具有默认值
的
NULL
列
复制
命令
copy
、
command
、
amazon-redshift
在我
的
redShift
数据库中有一个场景,其中我
的
表没有空
日期
列
,默认为SYSDATE。我试图通过
COPY
命令
加载数据,而不使用csv文件
中
的
date
列
。但是,当我加载时,
COPY
命令
会抛出一个错误。
浏览 0
提问于2018-08-13
得票数 1
1
回答
红移-杀死启动红移查询
的
应用程序不会杀死它。
java
、
amazon-redshift
我有一个java应用程序,它正在执行
Redshift
复制
命令
。应用程序不是作为服务编写
的
,因此我
强制
终止进程以阻止它。java应用程序会立即被杀死,然而,即使在java应用程序被杀死时,
Redshift
复制
命令
仍在执行
中
,但它仍继续在
Redshift
上运行并成功完成。 这不是我所期望
的
行为。我原以为,一旦到
Redshift
的
连接被终止,
COPY
命令
就会随之终止,<
浏览 4
提问于2015-10-26
得票数 0
回答已采纳
2
回答
将
日期
为S3
的
.parquet文件复制到
Redshift
date
、
copy
、
amazon-redshift
、
parquet
我正在尝试从S3
中
使用
COPY
命令
将.parquet文件加载到我
的
红移数据库
中
。 该文件包含一个
日期
格式为2018-10-28
的
列
。
Redshift
中表
中
的
相关字段定义为date。源spark数据帧将字段显示为datetime64,并将其
转换
为pandas,因为它是时间戳。使用简单
的
COPY
dates FROM s3://m
浏览 4
提问于2019-08-30
得票数 0
5
回答
从S3加载
Redshift
(带有分区)
amazon-web-services
、
amazon-s3
、
hive
、
amazon-redshift
我
的
S3文件(s3://MY_s3/stage/my_s3_file)在load_dt上有一个分区-MY_S3 ---my_s3_file ----load_dt如果没有将load_dt保存在
Redshift
表
中
,则
COPY
命令
可以正常工作,但是当我在
Redshift
表
中
添加load_dt时,由于输入布局和目标布局不匹配(目标上有额外
的
load_dt ),复制
命
浏览 14
提问于2016-04-15
得票数 7
回答已采纳
2
回答
使用复制
命令
将数据从亚马逊S3加载到红移-如何在红移
中
存储复制时间
amazon-web-services
、
amazon-s3
、
amazon-redshift
我正在使用Amazon Firehose流式传输在线数据,使用Lambda应用
转换
,并通过S3将数据加载到
Redshift
。Firehose
中
的
COPY
命令
为:我想知道Firehose制作S3到
Redshift</em
浏览 4
提问于2017-07-18
得票数 0
1
回答
将带有默认值
的
数据从拼花文件中加载到
Redshift
中
amazon-redshift
我需要将带有默认值
列
的
数据加载到
Redshift
中
,如AWS 所述。 LOAD_DT TIMESTAMP DEFAULT GETDATE() 如果使用<
浏览 2
提问于2021-04-13
得票数 0
回答已采纳
1
回答
在AWS
Redshift
中
执行计算查询
的
步骤?
amazon-s3
、
amazon-redshift
假设我们在S3
中
有10,000条记录,在复制S3
中
的
现有数据后,需要在AWS
Redshift
中计算2个额外
的
列
。对于另外两
列
,第一
列
的
输出将用于column2
的
计算。
浏览 3
提问于2018-02-26
得票数 0
2
回答
当“自动”将数据从S3加载到红移表
中
时,大小写重要吗?
json
、
postgresql
、
amazon-s3
、
gzip
、
amazon-redshift
我正在使用
COPY
命令
、gzip标志和'auto‘格式将数据从S3加载到
Redshift
中
,根据从S3加载
的
文档,在亚马逊网络服务中使用'auto’格式
的
文档,以及用于寻址压缩文件
的
文档。我
的
数据是高度嵌套
的
JSON格式,并且我已经创建了红移表,以便列名与JSON结构
的
最高级别完全匹配(这允许'auto‘工作)。varchar(500), camelCaseField varchar(4
浏览 2
提问于2016-12-29
得票数 3
1
回答
使用boto为RedShiftCopyActivity创建一个AWS数据管道
amazon-web-services
、
amazon-s3
、
boto
、
amazon-redshift
、
amazon-data-pipeline
我正在尝试将数据从s3移动到
redshift
中
,并希望在
redshift
中
强制
主键
的
唯一性。我意识到
copy
命令
本身不能做到这一点。然而,我注意到通过亚马逊网络服务数据管道提供
的
RedshiftCopyActivity允许一个"OVERWRITE_EXISTING“标志,这将允许至少以某种方式
强制
执行主键。我想知道是否可以使用boto来实现这一点,如果有人能给我举一个这样
的
用法
的<
浏览 0
提问于2015-06-27
得票数 0
1
回答
如何使用lambda将csv
中
的
特定
列
复制到红移表
中
amazon-web-services
、
aws-lambda
、
amazon-redshift
我正尝试在s3
中
使用aws
copy
命令
将csv文件加载到
redshift
中
。问题是我在csv中比在
redshift
表中有更多
的
列
。如何从csv加载特定
列
我
的
csv文件
的
格式为 年、月、说明、类别、SKU、销售额(月) 我
的
红移表是这样
的
year month description category SKU --------------------------
浏览 21
提问于2019-04-29
得票数 1
1
回答
如何让
redshift
为
copy
命令
中指定
的
字段添加当前时间
amazon-redshift
我有一个TSV文件,我想通过
copy
命令
加载到
redshift
中
。ts TIMESTAMP DEFAULT CURRENT_TIMESTAMP 如果我在psql
命令
行插入到此行
中
,而不为此列指定值,则可以很好地工作-它如预期
的
那样缺省为当前时间戳但是,在我TSV文件
中
的
列
浏览 2
提问于2018-03-20
得票数 1
1
回答
将Hive表从HDFS移动到Amazon
Redshift
r
、
hadoop
、
hive
、
amazon-redshift
我尝试将通过连接4-5个数据集创建
的
Hive表传输到
Redshift
。这个过程应该如何实现? 我们在边缘节点上有R可用。蜂窝表必须先传输到S3,然后再从s3传输到红移。这是唯一
的
方法吗?是否可以使用R,即使用RHive包将我
的
数据集从HDFS移动到R,然后将此数据集从R移动到
Redshift
?
浏览 1
提问于2015-03-05
得票数 2
1
回答
删除ID在
Redshift
中
不止一次存在
的
行
sql
、
amazon-web-services
、
amazon-redshift
我在和
Redshift
一起练习。我每天将数据加载到
Redshift
表
中
,并试图在每次摄入之后删除重复
的
数据。我最初尝试创建一个具有不同记录
的
新表,然后删除旧表。,但某些
列
总是不同
的
。因此,我需要删除ID是重复
的
行,而不是删除重复
的
行。理想情况下,我想保持记录,其中有最近
的
日期
。如果他们有相同
的
日期
,那就移除其中一个,否则。因此,在下面的示例
中
,它
浏览 12
提问于2022-03-22
得票数 0
1
回答
如何将嵌套
的
Avro字段作为单个字段复制到
Redshift
?
amazon-redshift
、
avro
、
jsonpath
我有以下记录
的
Avro模式,我想向
Redshift
发出一份副本: "name": "id",}, { }], }我希望在复
浏览 2
提问于2018-09-25
得票数 1
2
回答
不通过S3加载csv到红移
amazon-s3
、
amazon-redshift
、
import-csv
我正在使用SQL workbench /J与一个红移集群进行交互,我想在不使用
COPY
命令
的
情况下将一个CSV文件(大约500k行)加载到一个红移表
中
(我确实有insert权限)(因为我没有权限复制到s3
中
)。请注意,我拥有的唯一权限是:选择、插入、更新和删除集群内
的
表。 谢谢。
浏览 4
提问于2017-05-19
得票数 4
1
回答
从S3上无效
的
JSON复制
amazon-redshift
我正在尝试将数据从S3上
的
JSON文件加载到
Redshift
中
。有没有办法使用
Redshift
复制
命令
转义这些符号,并避免数据重新上传或
转换
?我
的
命令
create table my_table (id BIGINT, t
浏览 2
提问于2020-12-22
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
必学包之dplyr包
Bat批处理脚本中常用命令汇总
工作再忙,也要学会这10个最经典的Excel小技巧!
常用命令之scp命令
SQLite3的数据类型-动态数据类型
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券