腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
Snowflake
-
无法
将
临时
区
域中
的
JSON
拆分
文件
复制到
表
中
json
、
snowflake-cloud-data-platform
我正在使用
Snowflake
和一些
JSON
文件
,我需要将它们上传到
临时
区域。因为
Snowflake
不允许大小超过1 1GB
的
文件
,所以我不得不使用7zip将它们分割成更小
的
文件
。I ended up with 4 files like the ones below 你可以在所附图片中看到
的
带有图案
的
Files were uploaded to the Staging area。我正在尝试使用以下命令
浏览 21
提问于2021-04-25
得票数 1
回答已采纳
2
回答
我在DEV (雪花)中有内部阶段数据,但想要将相同
的
数据移动到PROD,而不是再次从源加载(不想再次使用PUT )
snowflake-cloud-data-platform
我在谷歌上搜索了一下,但在科幻小说中内部运动似乎是不可能
的
。有什么替代
的
方法吗?我有大量
的
数据加载到DEV阶段。 我如何在
snowflake
中
实现这一点?
浏览 0
提问于2020-04-15
得票数 1
2
回答
使用雪花管道
将
数据加载到
snowflake
时
的
数据聚合
etl
、
snowflake-cloud-data-platform
我正在评估雪花
的
用例报告。我正在考虑ETL
的
雪管。数据是从S3获取
的
。S3
中
的
数据包含定期捕获
的
用户会话
的
相关信息。在
Snowflake
中
,我希望存储这些数据聚合。根据文档,
snowflake
只支持基本
的
转换,在
将
数据从S3 staging
复制到
snowflake
中
的
表
的
过程
浏览 6
提问于2021-01-07
得票数 1
2
回答
如何在
Snowflake
connector for KAFKA中使用连续流数据
snowflake-cloud-data-platform
任何人都可以帮助我消耗连续数据
中
的
数据,这些数据正在被流式传输。在
snowflake
连接器
中
应该为主题提供什么? 因为我能够使用所需
的
主题名称通过单个
表
数据填充数据。但我有捕获连续数据流到
表
中
的
要求。
浏览 0
提问于2021-10-07
得票数 5
1
回答
Snowflake
- Azure
文件
上传-如果大小超过40MB,如何对
文件
进行分区
file-upload
、
snowflake-cloud-data-platform
、
azure-blob-storage
我必须使用COPYINTO命令
将
数据从
Snowflake
表
上传到Azure BLOB。我
的
copy命令适用于SINGLE = TRUE属性,但如果
文件
大小超过40MB,我想将其
拆分
到多个
文件
中
。例如,在
snowflake
中有一个100MB
的
表
'TEST‘,我想将这个数据上传到天蓝色
的
BLOB
中
。
复制到
命令应创建以下格式
的</em
浏览 26
提问于2021-04-15
得票数 0
3
回答
如何
将
数据从AWS S3加载到
Snowflake
Internal Stage
database-migration
、
snowflake-cloud-data-platform
Snowflake
应该作为我们
的
数据湖,可以减少我们从AWS使用
的
存储量。有没有内置
的
功能可以从外部stage -->内部stage传输数据?目标是
将
数据加载到内部
Snowflake
阶段,然后从AWS
中
删除数据。我们希望
Snowflake
成为数据湖。
浏览 49
提问于2020-07-28
得票数 0
1
回答
如何检查
Snowflake
中
的
表
是否为空并获取响应- Java,SpringBoot
java
、
database
、
spring-boot
、
snowflake-cloud-data-platform
我在我
的
项目中使用了
Snowflake
数据库和Spring Boot。所以我想先创建
临时
表</e
浏览 0
提问于2021-11-30
得票数 1
1
回答
创建空白CSV
文件
Snowflake
临时
区域
snowflake-cloud-data-platform
我
的
工作是在
Snowflake
中
创建
临时
区域,并在其中创建CSV
文件
。我有一个问题,希望这里的人有足够
的
经验来帮助我解决这个问题。我已经在unix
中
创建了一个作业,以便从添加了where条件
的
表
中
在
临时
区
域中
创建一个CSV
文件
,以过滤数据。但是,有时如果没有行作为
表
中
select语句
的
输出结果,则根本不会在<e
浏览 12
提问于2021-07-06
得票数 1
1
回答
如何
将
sql server
的
bacpac
文件
迁移到
snowflake
azure
、
snowflake-cloud-data-platform
我在azure存储帐户中有一个bacpac
文件
。我需要将该bacpac
文件
迁移到
snowflake
。我尝试通过Azure数据工厂,但我
无法
实现它。有没有迁移
的
方法?
浏览 4
提问于2020-10-20
得票数 0
1
回答
JDBC对列表
的
限制
python
、
jdbc
、
teradata
、
snowflake-cloud-data-platform
我正在尝试编写一个数据迁移脚本,使用JDBC游标
将
数据从一个数据库移动到另一个数据库(Teradata到
snowflake
)。我正在处理
的
表
有大约1.7亿条记录,并且我遇到了这样
的
问题:当我执行批处理插入列表
中
的
表达式
的
最大数量超过时,预计最多16,384,获得170,000,000。我想知道是否有任何方法可以解决这个问题,或者是否有更好
的
方法批量迁移记录,而不是
将
记录导出到
文件
并将其移动到s3以供
浏览 13
提问于2017-07-10
得票数 0
2
回答
使用apache钻机在mysql db
中
创建
表
mysql
、
apache-drill
我尝试使用apache在mysql
中
创建一个
表
。它抛出了一个错误:模式是不可变
的
。我发现
的
一个解决办法是使用CTAS语句创建一个
临时
表
。但是我想使用drill在mysql
中
创建一个永久
的
表
。下面是我
的
MySQL插件配置: "type": "jdbc",
浏览 2
提问于2018-03-27
得票数 1
回答已采纳
2
回答
有没有可能使用
snowflake
来分割一个超过8 GB
的
大
文件
?
snowflake-cloud-data-platform
我有一个超过8 GB
的
文件
。我想把这个
文件
加载到
snowflake
。我浏览了
snowflake
文档,发现了最佳实践,即保持
文件
大小为10MB到100MB,以获得最佳加载性能。是否可以在
snowflake
本身
中
拆分
文件
?因此,我将上传8 GB
的
文件
到Azure Blob,然后使用
snowflake
将
文件
拆分
为多个
浏览 0
提问于2019-11-20
得票数 0
1
回答
如何在不丢失数据
的
情况下
将
GA360
表
从大查询导出为
json
格式
的
雪花?
json
、
google-analytics
、
google-bigquery
、
snowflake-cloud-data-platform
、
data-extraction
我正在使用bq命令
将
GA360
表
从Big query导出为
json
格式
的
雪花。当我在
snowflake
中将其加载为
表
时,我会丢失一些字段。我使用copy命令将我
的
json
数据从
snowflake
中
的
GCS external stage加载到
snowflake
表
中
。但是,我遗漏了一些嵌套数组
中
的
字段。我甚至尝试过
浏览 1
提问于2020-10-02
得票数 0
2
回答
如何在雪花中进行批量升级操作?
sql
、
snowflake-cloud-data-platform
我每天使用node js脚本将我
的
mongo DB数据同步到
snowflake
。因此,如果
snowflake
中
已经存在一行,那么我想用新数据替换该行,或者如果
snowflake
中
不存在该行,那么我想插入一个新行。此外,我还想对大量数据执行此操作。那么有没有办法在
snowflake
中
做批量插入呢?如果没有,那么实现这一目标的最佳方法是什么? 该
表
可能有数百万行,将来可能会达到数十亿行。
浏览 14
提问于2021-08-02
得票数 1
回答已采纳
1
回答
在
SnowFlake
中
动态创建
表
(使用来自
临时
区域
的
JSON
数据)
snowflake-cloud-data-platform
、
snowflake-schema
有没有一种方法可以使用
临时
区
域中
的
JSON
文件
动态创建
表
(包含列)? 我使用了逗号:“从@StageName
复制到
TableName;” 这将把我
的
json
文件
中
的
所有不同行放到一列
中
。 但是,我想要不同
的
列。例如,column1应该是"IP",第2列应该是"OS“,依此类推。 提前谢谢你!!
浏览 11
提问于2019-07-02
得票数 1
回答已采纳
2
回答
在Python雪花连接器中将雪花复制为拒绝
文件
python
、
sql
、
json
、
snowflake-cloud-data-platform
、
snowflake-connector
我使用Python雪花连接器
将
JSON
文件
放入雪花阶段,然后
复制到
将
JSON
插入到
表
中
。这是我
的
密码: user=sf_user) 我
的
代码执行成功,但是我在雪花中注意到
文件
被
浏览 4
提问于2022-01-26
得票数 0
回答已采纳
1
回答
验证ADF调试复制数据
的
“移动和转换功能”
azure-data-factory
、
azure-data-factory-2
、
azure-data-explorer
通过编写以下活动,我
将
ADF用作
将
数据从Cosmos写入Kusto数据库
的
管道:所有这些更改都是我
的
GIT
中
JSON
浏览 2
提问于2021-06-11
得票数 0
回答已采纳
1
回答
google-BigQuery使用
的
临时
存储
google-bigquery
在
将
数据写入BigQuery
表
时,在写入
表
之前,数据会被缓冲到所选存储桶
中
的
临时
区
域中
。随着写操作并发性
的
增加,这种
临时
存储
的
性能变得非常重要。可以执行什么优化来提高这种缓冲
区
写入性能?例如,固态硬盘可以用于
临时
存储吗? 谢谢
浏览 2
提问于2021-03-07
得票数 0
2
回答
使用Azure数据工厂不分阶段地
将
数据从Azure数据湖
复制到
SnowFlake
azure
、
snowflake-cloud-data-platform
、
azure-data-factory
、
azure-data-lake-gen2
Azure Data
将
数据从2
复制到
SnowFlake
的
所有示例都使用一个存储帐户作为平台。如果没有配置这个阶段(如图所示),即使我
的
源是Azure数据湖
中
的
csv
文件
,我也会在dataset
中
得到此错误--“只有当源数据集为DelimitedText、Parquet、
JSON
以及AzureBlob存储或S3 S3链接服务时,才支持
将
数据直接
复制到
雪花片,对于其他数据集或链接服务,
浏览 5
提问于2021-07-27
得票数 0
回答已采纳
1
回答
将
dataset移动到另一个区域bigquery
google-cloud-platform
、
google-bigquery
、
publish-subscribe
、
dataflow
我想将数据集移动到另一个区域,但是有一些带有数据流模板
的
发布订阅,在dataset中加载
表
。如何在不中断数据流作业
的
情况下做到这一点?或者尽可能少地打断他们。 在新区
域中
创建具有原始名称
的
新数据集。
将</em
浏览 0
提问于2021-03-17
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
超赞!原来Excel数据来可以这样查询引用
将表拆成多个表,将多个表拆成多个文件
线程状态详解
MySQL线程状态详解
VBA拆分工作簿
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
云直播
活动推荐
运营活动
广告
关闭
领券