腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(2993)
视频
沙龙
2
回答
从
S3
中
的
地块
清单
进行
红
移
复制
失败
,
并
表示
清单
参数
需要
S3
对象
的
完整
路径
、
、
、
我正在使用Firehose将Parquet格式
的
记录放入
S3
存储桶
中
。我手动定义了一个粘合表。所以我有一个
清单
{ {"url":"
s3
://my-bucket/file1.parquet"}, ] }
浏览 73
提问于2020-03-30
得票数 1
回答已采纳
2
回答
尝试将glue
中
的
表格
复制
到
红
移时,出现“awaitResult
中
抛出异常:”错误
、
、
、
我一直在尝试将一个表
从
glue
复制
到redshift
中
。等待结果
中
抛出异常:”。
浏览 3
提问于2020-07-25
得票数 2
1
回答
使用JSONPaths文件错误实现对红
移
复制
命令
的
运动
、
、
、
: 尝试运行“
复制
”命令,但
失败
。当我转到redshift集群
的</em
浏览 2
提问于2016-03-23
得票数 1
回答已采纳
3
回答
LakeFormation:
红
移
谱可以读取
清单
文件(对于外部表),但不能读取实际文件?
、
、
://mybucket/folder2/file1.parquet) 因此很明显,Redshift能够读取
清单
文件(
并
获得
s3
uri作为拼图文件),但由于Access Denied,它无法读取拼图文件我认为这意味着redshift能够正确地读取拼板文件,至少当位置是一个文件夹时是正确
的
,因为某些原因,当文件
从
清单
文件
中
列出时,它不能工作。但是,我不明白使用什么凭据来获取拼花文件,因为与
红
移
集群
浏览 5
提问于2021-08-12
得票数 1
1
回答
DynamoDB读取和写入每小时800万条记录
并
复制
到Redshift
的
成本
、
为了分析
的
目的,我们也
需要
相同
的
数据在Redshift
中
。因此,每15分钟我们
需要
同步Dynamodb表到Redshift表。企业只想在顶级
红
移
集群上
进行
分析。为了在15分钟内
从
DynamoDB
复制
数据到
红
移
,使用
红
移
复制
命令,我
需要
大约10000
的
读取容量单元。 为此,每月
的</em
浏览 3
提问于2019-09-22
得票数 1
回答已采纳
1
回答
从
S3
复制
到
红
移
特定文件,没有
清单
文件处理
、
我正在使用当前
的
进程,其中我上传
清单
文件到一系列文件夹
的
基础上,每周
复制
数据到
红
移
。该文件夹包含92个.gzip文件、1个头文件和1个成功文件。它每周加载一次,因为数据每周被覆盖到每个文件夹。问题:我有一个Azure数据管道进程,收集这些.gzip文件,如果我
的
清单
文件在文件夹
中
,而蔚蓝
复制
作业运行,它将停止azure
复制
进程。我
的
需要
:能够
复制
浏览 1
提问于2018-04-25
得票数 0
回答已采纳
1
回答
如何执行AWS emr和
红
移
脚本?
、
、
、
我在
S3
folder中有文件,在那里我必须使用来自EMR
的
PiG scripts
进行
转换,然后加载回
s3
。我想知道如何
从
unix调用猪脚本?除了sqlworkbench之外,我如何执行
红
移
脚本?我怎样才能按顺序运行它们?我是否
需
浏览 0
提问于2015-04-01
得票数 0
回答已采纳
2
回答
AWS消防软管中间
S3
桶和交付流依赖
的
问题
、
、
、
、
为多个交付流设置一个
s3
桶是个好主意吗?(例如:假设两个传输流具有不同
的
流吞吐量,
s3
缓冲区大小/缓冲区间隔.) 顺便说一句,我正在使用消防水管将我
的
应用程序日志推入<em
浏览 2
提问于2016-06-17
得票数 1
5
回答
:大容量插入与来自COPYing
的
s3
、
我有一个
红
移
集群,用于一些分析应用程序。我有要添加到clicks表
中
的
传入数据。假设我有10次新
的
“点击”,我想存储每秒钟。如果可能的话,我希望我
的
数据尽快在
红
移
。
S3
Copy strategy:我将
s3
中
的
行
复制
为clicks_1408736038.csv。然后运行一个COPY将其加载到clicks表
中
。就性能而言,首先在
s3</em
浏览 3
提问于2014-08-22
得票数 43
1
回答
从
MySQL到Redshift
的
近实时ETL
、
、
、
我正试图找出最有效
的
方法
从
MySQL中提取数据,将其转换
并
加载到几乎实时
的
红
移
。目前,我们有通宵ETL工艺(使用宾得),持续时间~40分钟,我们希望用近实时(小批1-5分钟)取代它。我找到了
从
MySQL binlog (即)与AWS连接
的
数据提取工具,我计划使用Apache或AWS转换和连接数据,并将其写入
S3
,然后
从
COPY命令将其写入Redshift。
浏览 3
提问于2017-11-20
得票数 5
5
回答
定期将
S3
存储桶
中
的
数据流式传输到
红
移
、
我有一些数据存储在
S3
中
。我
需要
定期将这些数据
从
S3
克隆/
复制
到Redshift集群。要执行海量
复制
,我可以使用copy命令
从
S3
复制
到
红
移
。同样,是否有任何简单
的
方法可以定期将数据
从
S3
复制
到Redshift。 谢谢
浏览 26
提问于2016-07-29
得票数 1
1
回答
红
移
谱:如何只导入某些文件
、
、
当使用
红
移
频谱时,您似乎只能导入数据提供位置,直到一个文件夹,它导入文件夹内
的
所有文件。还有别的办法吗?
浏览 0
提问于2019-08-03
得票数 4
2
回答
有没有一种方法可以将数据放入
S3
桶
中
的
中
?
、
、
、
、
我想写流数据
从
S3
桶到
红
移通过火龙带,因为数据是实时
的
(每分钟600个文件),我不想任何形式
的
数据损失。 如何将来自
S3
的
数据放入
中
?
浏览 4
提问于2017-08-14
得票数 1
1
回答
我可以强制Redshift不对特定
的
外部架构使用Lake权限吗?
、
://mybucket/folder1/LATEST_redshift_external_location_manifest.json'在我
的
例子
中
,IAM角色ruben_redshift_external具有完全访问
S3
、胶水和湖水
的
策略。在“湖形成”权限
中
授予创建数据库、选择表和访问数据湖位置
的
权限。 但是这个角色可以直接访问
S3
的
事实被Redshift忽略了,它似乎总是使用Lake来
浏览 4
提问于2021-08-12
得票数 1
3
回答
只将新文件
从
S3
加载到Redshift
中
的
简单方法?
、
Redshift COPY命令
的
文档指定了两种选择
从
S3
加载文件
的
方法,要么提供一个基本
路径
,然后它加载该
路径
下
的
所有文件,要么指定要加载特定文件
的
清单
文件。但是,在我们
的
例子
中
,我认为这是相当常见
的
,
S3
桶会定期接收带有更多最新数据
的
新文件。我们希望能够只加载尚未加载
的
文件。甚至AWS数据管道
中
的</
浏览 2
提问于2015-05-14
得票数 4
回答已采纳
1
回答
调试为什么消防软管没有交付给Redshift
、
我设置了一个将数据传送到Redshift集群
的
消防软管流。它工作了很短
的
一段时间,但似乎突然停止了
红
移
。
从
我
的
select * from stl_load_errors order by starttime=0 order by recordtime desc; 运行这些命令不会列出最近
的
连接或
复制
。在我
的
连接日志
浏览 0
提问于2016-03-01
得票数 0
回答已采纳
1
回答
:
从
S3
上
的
许多桶加载数据
、
、
我正在尝试将数据
从
S3
上
的
两个不同桶加载到Redshift表
中
。在每个桶
中
,都有包含日期
的
目录,每个目录都包含许多文件,但没有显式显示。示例
S3
结构:
s3
://bucket1/20170201/part-01
s3
://bucket1
浏览 1
提问于2017-03-02
得票数 1
回答已采纳
5
回答
AWS在Redshift
中
没有插入数据
、
、
我试着在
红
移
表中使用来推送数据。但在Redshift
的
目标表
中
没有任何东西到达。在度量标准
中
,DeliveryToRedshift成功为0 (DeliveryToRedshift记录为空) 我如何解决这个问题?
浏览 0
提问于2015-12-10
得票数 19
回答已采纳
1
回答
S3
文件大小为十进制时
的
谱表报表文件
、
、
、
我正在读取一个
S3
文件,方法是创建一个频谱外部表,并将它指向一个
清单
文件,其中包含有关源
S3
文件
的
信息。问题是,当我
的
S3
文件大小为十进制时,例如37.5MB或100.2 KB。根据文档,我们
需要
提供以字节为单位
的
文件大小。现在,当我使用1000
的
乘法器来转换为字节时,我会在外部表
中
的
文件末尾丢失一些记录或一些数据。当我在
清单
文件中将文件大小作为102604.8提供时,我会得到一个
浏览 4
提问于2020-04-16
得票数 0
回答已采纳
3
回答
亚马逊移动消防软管缓冲到
S3
、
、
、
我试图对部署到AWS
的
流数据/分析应用程序
进行
定价,
并
考虑使用Kinesis将数据转储到
S3
中
。 我
的
问题是,当计算出
S3
的
成本时,我
需要
弄清楚我
需要
多少投资者。因此,我知道Firehose缓冲数据,然后刷新到
S3
,但是我不清楚它是否会写一个单一
的
“文件”,所有的记录都会累积到那个时候,或者它是否会单独地写每条记录。因此,假设我根据记录
的
大小将缓冲区大小
浏览 6
提问于2015-11-03
得票数 6
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
替代 Kafka?Pinterest 推出高效可扩展云原生系统 MemQ
HashiCorp 发布 Terraform 操作符管理Kubernetes基础设施
PapersWithCode发布代码完整性自查清单:想获得更多星,你需要注意这五项
轻松构建 PyTorch 生成对抗网络(GAN)
Alluxio跨集群同步机制的设计与实现
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券