腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(431)
视频
沙龙
1
回答
从
亚马逊
网络服务
S3
复制到
雪花
所需
的
时间比
平时
多
snowflake-cloud-data-platform
、
snowflake-schema
我们正在尝试使用复制命令将数据
从
亚马逊
网络服务
S3
加载到
雪花
阶段,这比
平时
花费了更多
的
时间,文件
的
大小为3 GB(此大小包括文件夹中存在
的
所有文件)。下面是复制命令。` create or replace stage mystagestorage_integration=myparquet file_format
浏览 15
提问于2021-07-19
得票数 0
1
回答
将数据
从
Snowflake on GCP卸载/写入到AWS
S3
snowflake-cloud-data-platform
我对Snowflake是个新手,真的找不到答案--
从
托管在GCP上
的
Snowflake卸载数据到
亚马逊
网络服务
S3
存储桶
的
正确/推荐方法是什么?这是否与
从
已经托管在
亚马逊
网络服务
上
的
雪花
卸载到
S3
的
过程相同,如突出显示
的
?是否有任何额外
的
安全问题或需要授予
的
权限? 在这种情况下,您如何协调不同云提供商
浏览 3
提问于2020-06-30
得票数 0
2
回答
当Snowflake中
的
文件复制失败时,是否可以发送通知?
snowflake-cloud-data-platform
我已经在
亚马逊
网络服务
的
S3
存储桶上创建了一个
雪花
外部阶段。此外,我还设置了一个Snowpipe,当
S3
存储桶中有一个文件时,它会执行复制命令。Snowpipe
从
SNS通知中获取通知。现在,如果在将文件
从
S3
复制到
Snowflake ...say时由于数据不匹配而出现任何错误...Snowpipe简单地中止。有没有办法在管道出现故障时通知我?
浏览 16
提问于2020-04-10
得票数 2
1
回答
有没有办法在Snowflake中找出数据类型erorr
的
详细信息?
snowflake-cloud-data-platform
我是
雪花
云产品
的
新手,我只是尝试使用复制命令
从
亚马逊
网络服务
s3
staging are加载一个简单
的
.csv文件到
雪花
中
的
一个表中。下面是我用作命令
的
内容:
从
@S3_ACCESS file_format = (format_name =格式名)
复制到
“数据库名”.“模式”.“表名”; 当运行上面的代码时,我得到以下错误:无法识别数值'63' 请看附件中<em
浏览 8
提问于2020-04-07
得票数 0
回答已采纳
1
回答
从
AWS帐户到GCP帐户
的
Snowflake外部表复制
snowflake-cloud-data-platform
我
的
Snowflake主账户中有一些外部表,该账户位于AWS区域。我需要在GCP
雪花
帐户中为相同
的
外部表做数据共享。如何将这些外部表
复制到
GCP区域,或者如何在GCP snowflake帐户中创建外部表,并在
亚马逊
网络服务
S3
中指向这些外部表文件?
浏览 11
提问于2021-09-16
得票数 0
1
回答
使用Python在
雪花
中将本地文件加载到AWS阶段
python
、
amazon-s3
、
snowflake-cloud-data-platform
、
etl
、
snowflake-connector
我计划使用
亚马逊
s3
内部平台
从
本地系统摄取数据到
雪花
台。如何使用python将数据加载到
s3
阶段?以前,为了将数据加载到
雪花
,我使用
雪花
的
内部暂存,并使用下面的命令来执行操作。file_format = (TYPE=CSV FIELD_DELIMITER='~' error_on_column_count_mismatch=false, ENCODING = 'UTF-8') 如何将数据
从
本地
浏览 8
提问于2022-02-09
得票数 0
1
回答
如何将
S3
上一次处理
的
文件存储到红移数据库
bash
、
amazon-web-services
、
amazon-s3
、
amazon-redshift
目前,我已经使用
亚马逊
网络服务
数据管道将数据
从
亚马逊
S3
复制到
亚马逊
Redshift,仅用于当前日期和时间。我想每隔30分钟将数据
从
S3
复制到
Redshift。并且最后处理
的
S3
文件名也被存储到另一个红移表中。 有人能回答这个问题吗?
浏览 0
提问于2013-11-14
得票数 4
4
回答
如何在浏览器中编辑
亚马逊
S3
中
的
文件?
amazon-web-services
、
amazon-s3
、
cloud
、
text-editor
我已经在
亚马逊
的
S3
系统上托管了我
的
主页。为了更改页面上
的
信息,目前,我必须更改计算机上
的
文件并上传新版本。但是,我想在浏览器中直接更改
S3
存储桶中
的
文件(在任何地方更改它)。是否有一个基于云
的
文本编辑器,可以使用
S3
作为“文件系统”,并允许我更改文本文件(例如,超文本标记语言、css、js等)?
浏览 13
提问于2012-12-29
得票数 30
3
回答
亚马逊
S3
上
的
文件灾难恢复?
backup
、
amazon-s3
、
disaster-recovery
不久前,我们
的
服务器已经超出了磁盘空间,所以我决定将大部分用户生成
的
内容转移到
亚马逊
S3
上。在节省空间,降低带宽成本和将请求
从
我们
的
服务器上分散出去方面都有明显
的
好处,我们
的
服务器也处理Apache和MySQL。到目前为止,我们还没有遇到任何问题,但我意识到,如果
亚马逊
倒闭,我们就会完蛋(我唯一
的
备份是那些图像中
的
前50 is左右,其中许多将被删除/更改等)。我不想把图像下载到我
的
浏览 1
提问于2010-03-11
得票数 5
回答已采纳
1
回答
使用
雪花
查询删除
S3
对象
amazon-s3
、
snowflake-cloud-data-platform
我们正在使用存储集成来卸载
亚马逊
网络服务
S3
存储桶中
的
数据。这是一个外部阶段。下面是我们正在使用
的
命令 COPY INTO
s3
://mybucket/data/files/20210922 FROM (SELECT * FROM TABLE_NAME)SINGLE=FALSE HEADER=TRUE 有没有办法使用存储集成或
雪花
查询
从
<e
浏览 22
提问于2021-09-22
得票数 0
回答已采纳
3
回答
是否有人使用AWS Glue to snowflake构建了数据管道?寻找解决方案
amazon-web-services
、
pyspark
、
snowflake-cloud-data-platform
、
aws-glue
、
aws-glue-data-catalog
我是AWS和snowflake
的
新手。我希望
从
S3
加载csv文件到各自
的
雪花
表(大约100个表)使用
亚马逊
网络服务
胶水。我可以使用下面的文章将数据加载到一个
雪花
表中 AWS Glue内部-我们可以编写逻辑来基于csv文件在snowflake中更新或插入数据吗?
浏览 0
提问于2020-04-10
得票数 0
3
回答
如何将数据
从
AWS
S3
加载到Snowflake Internal Stage
database-migration
、
snowflake-cloud-data-platform
我们正在尝试
从
亚马逊
网络服务
S3
(外部阶段)获取数据,并将其加载到
雪花
内部阶段。Snowflake应该作为我们
的
数据湖,可以减少我们
从
AWS使用
的
存储量。有没有内置
的
功能可以
从
外部stage -->内部stage传输数据? 目标是将数据加载到内部Snowflake阶段,然后
从
AWS中删除数据。我们希望Snowflake成为数据湖。
浏览 49
提问于2020-07-28
得票数 0
1
回答
S3
与
雪花
的
集成:实现
多
租户
的
最佳方式?
amazon-s3
、
snowflake-cloud-data-platform
我
的
团队正在计划建立一个数据处理管道,其中将涉及
S3
与Snowflake
的
集成。来自Snowflake
的
显示,为了让Snowflake访问
S3
的
数据,必须创建AWS IAM角色。然而,在我们
的
管道中,我们需要确保用户之间
的
多
租户和数据隔离。然后,我们要确保在将爱丽丝
的
数据暂存到
雪花
上时,爱丽丝只能访问"
s3
://bucket-alice",而
浏览 2
提问于2021-02-17
得票数 0
1
回答
我们如何在Snowflake中处理雪地管道中
的
数据验证
snowflake-task
我
的
场景是我在
亚马逊
网络服务
的
S3
平面文件中有数据。当新文件到达
S3
时,我使用SNS触发
雪花
管道。为了将数据
从
S3
中
的
平面文件加载到Snowflake表中,我使用了Snow-pipe。那么,当通过Snow-pipe将数据
从
平面文件加载到snowflake表时,我是否可以对源数据进行数据验证和一些计算?如果我们有什么办法的话请帮帮我。提前谢谢。
浏览 0
提问于2020-02-28
得票数 0
1
回答
在使用stage +存储集成与直接存储集成进行数据加载/卸载时,Snowflake是否具有性能影响?
snowflake-cloud-data-platform
如果我有一个
亚马逊
网络服务
S3
存储集成和一个指向该阶段
的
阶段: storage_integration = my_storage_integrationurl = '
s3
://mybucket/'运行这两个命令是否存在性能差异: COPY INTO ... from '
s3
://mybucket/myfile.csv' storag
浏览 1
提问于2020-03-27
得票数 0
3
回答
来自Bitbucket
的
AWS lambda部署
amazon-web-services
、
aws-lambda
、
continuous-deployment
、
bitbucket-pipelines
我正在从事AWS lambda持续集成和部署
的
工作。我用NodeJs编写了lambda,并保存在Bitbucket repo中。我找不到详细
的
教程或示例来在AWS实例上部署这些lambda。
亚马逊
网络服务
代码管道源代码允许GitHub,但不允许BitBucket。任何人都知道该怎么做。如果可用,请分享信息或链接。
浏览 1
提问于2017-06-28
得票数 4
1
回答
TaskInstanceIAMRole和ECSExecutionRole在TaskDefinition属性上
的
差异
amazon-web-services
、
amazon-cloudformation
我看到,在TaskDefinition属性中,可以定义两种角色: ExecutionRoleArn和TaskRole Arn但我还是不明白为什么会有两个?
浏览 0
提问于2019-05-18
得票数 1
1
回答
从
HDFS加载地块文件
的
速度比
从
S3
加载
的
速度慢。可能
的
原因是什么?
hadoop
、
amazon-s3
我在HDFS中有成百上千
的
拼图文件。我在
亚马逊
网络服务
S3
中也有相同
的
文件。在电子病历集群上,我运行了一个机器学习模型,它可以
从
HDFS或
S3
获取其学习数据。当它从HDFS加载数据时,它花费
的
时间比
从
S3
加载数据时要长。难道不应该是相反
的
吗?出现这种情况
的
原因是什么? 显然,EMR集群中使用
的
硬件(机器)对于这两种情况都是相同
的
浏览 1
提问于2018-11-15
得票数 0
2
回答
如何将FTP服务器上可用
的
文件夹和文件
复制到
亚马逊
网络服务
S3
存储桶
amazon-web-services
、
amazon-s3
、
ftp
我想将我
的
所有文件夹和文件
从
FTP服务器
复制到
亚马逊
S3
存储桶。 已尝试在web上查找信息以查找工具或
亚马逊
S3
提供
的
APIS,用于
从
FTP服务器复制文件夹和文件。任何工具或指向链接
的
指针都会很有帮助
浏览 2
提问于2014-12-20
得票数 0
2
回答
存档AWS RDS mysql数据库
mysql
、
amazon-web-services
、
amazon-s3
、
amazon-rds
、
amazon-glacier
我正在寻找选项来存档我
的
旧数据
从
AWS RDS MySQL数据库
的
特定表。我遇到了
亚马逊
网络服务
S3
,
亚马逊
网络服务
Glacier,并使用一些管道或桶将数据
复制到
其中一个,但据我所知,他们将数据
复制到
保险库或备份数据,但不移动它们。是否有合适
的
选项通过从RDS迁移到
S3
、Glacier或Deep Archive来归档数据?即在创建档案后
从
AWS RDS中
的
浏览 1
提问于2020-01-29
得票数 2
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
替代 Kafka?Pinterest 推出高效可扩展云原生系统 MemQ
微软、谷歌开打持久战,亚马逊云能否继续一家独大?
Invent 2021亚马逊云科技新输出:芯片、5G、Serverless、机器学习、大机迁移……
云计算产业高枝上的果实,大模型能够到么?
赶紧拥抱Serverless,不然就晚了
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券