腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
有没有
办法
减少
雪
管
加载
的
时间
?
snowflake-cloud-data-platform
、
snowflake-pipe
我正在阅读这篇User Guide,它提到“通常”雪花管道需要1分钟来
加载
数据。在我
的
实验中,我发现它总是需要一分钟。这1分钟
的
延迟是从哪里来
的
?感觉好像每分钟都有一些批处理在进行。
有没有
什么地方可以进一步降低它。
浏览 18
提问于2020-09-15
得票数 1
回答已采纳
1
回答
在将文件添加到AWS s3中后,雪花
雪
管
文件不会自动摄取
snowflake-cloud-data-platform
我为一张雪花桌做了
雪
管
。源文件将在周期性
时间
降落在AWS S3桶中,因此按照以下步骤创建
雪
管
: 文件在一段
时间
后被添加到雪花目标表中
浏览 3
提问于2020-12-06
得票数 1
回答已采纳
2
回答
如何增加
雪
管
库
的
规模
snowflake-cloud-data-platform
我知道雪花管道使用内部仓库
的
雪花管道。或者如果不是,那么处理这种情况
的
最佳方式是什么,以便更快地
加载
文件
浏览 27
提问于2021-06-10
得票数 1
回答已采纳
1
回答
用于连续摄取不定期到达
的
每日文件
的
雪
管
snowflake-cloud-data-platform
我们需要将这些文件
加载
到暂存表中,然后
加载
到DW表中,并在雪花中应用数据转换。我们正在考虑使用
雪
管
将数据从S3
加载
到暂存表,因为来自ERP
的
文件到达是没有计划
的
,并且可以在4个小时
的
窗口内随时到达。每天
的
文件都有
时间
戳,每天都会有完整
的
数据。因此,在摄入当天
的
文件之前,我们需要每天截断暂存表。请分享
浏览 2
提问于2022-02-02
得票数 1
1
回答
从snowpipe连续数据
加载
设置之前开始
加载
snowflake-cloud-data-platform
、
snowflake-pipe
我已经设置了snowpipe,以便从S3存储桶中连续
加载
表中
的
数据。这已经运行了大约一个月(即> 14天)。在设置雪花管道之前,存储桶中有数据,我们还需要将这些文件
加载
到雪花中。Snowpipe显然只维护了14天
的
复制历史数据。识别尚未被摄取到表中
的
文件并大容量导入它们
的
好方法是什么?
浏览 31
提问于2020-06-13
得票数 0
回答已采纳
1
回答
如何以编程方式完成管道作业?
python-3.x
、
amazon-s3
、
snowflake-cloud-data-platform
相反,在使用斯诺管道时,我想通过编程方式构建
雪
管
。我需要检查S3桶上一次编辑
的
时间
,然后将它
加载
到暂存雪花中吗?于
浏览 2
提问于2022-01-12
得票数 0
1
回答
监测
雪
管
的
成本(在雪花中)?
snowflake-cloud-data-platform
(一位雪花用户在我们遗留
的
问答论坛中问了以下问题) 是否有
办法
将
雪
管
置于资源监控之下?还是有类似的方法来监控
雪
管
的
成本?
浏览 1
提问于2019-10-14
得票数 1
回答已采纳
1
回答
我最近不得不停下来,然后重新启动一个
雪
斗。从那时起,管子就不再从舞台上进食了
snowflake-cloud-data-platform
、
data-ingestion
我在一个舞台上积压了一大堆内容,直到最近,
雪
斗还在吞噬这些内容。我想当我暂停
雪
斗一段
时间
,然后重新启动时,它就停止了摄取;但我不能确定。查询
雪
管
的
状态,我看到: {"executionState":"RUNNING","oldestFileTimestamp":"2021-05-13T12:15:25.086Z","pendingFileCountlastReceivedMessageTimesta
浏览 13
提问于2021-05-19
得票数 0
1
回答
有没有
从Azure Blob Storage到Snowflake EDW
的
简单ETL方法?
azure
、
stored-procedures
、
etl
、
azure-data-factory
、
snowflake-cloud-data-platform
由于
时间
和技术
的
限制,我对Snowflake on Azure有以下ETL要求,并希望实现最简单
的
解决方案。要求: 每天将CSV数据(仅几MB)从Azure Blob Storage
加载
到Snowflake Warehouse到临时表中。在Snowflake本身中转换上面
加载
的
数据,其中转换仅限于几个连接和聚合,以获得一些度量。最后,将这些数据放入同一个Snowflake DB中
的
Datamart中
的
最终表中。最后,使用调度或使用基于事件
的</
浏览 23
提问于2020-12-08
得票数 0
1
回答
Snowpipe自动摄取
snowflake-cloud-data-platform
我是新来
的
雪花。我已经创建了
雪
管
,stages还在AWS中配置了SQS。 当我将文件放入S3存储桶中时,数据没有通过
雪
管
加载
到表中。我是否需要为自动摄取数据
加载
做更多
的
设置/说明。
浏览 17
提问于2020-05-23
得票数 0
2
回答
在从
雪
管
中
加载
数据之前截断雪花表
snowflake-cloud-data-platform
我是新
的
雪花和做一个POC跟随文档。这是我创造
的
雪
管
auto_ingest=true as copy into demo_db.public.test_tableName) from (Select $1 FROM @demo_db.public.stage_table)file_format = (type = 'CSV' skip_header = 1); 在
雪
管<
浏览 7
提问于2021-06-15
得票数 0
回答已采纳
3
回答
雪
管自动投递间隔
snowflake-cloud-data-platform
、
snowpipe
我有一个文件,有三百万记录,我正在使用
雪
管自动摄取功能,以自动
加载
它。 想知道
雪
管
的
行为,它会在一次拍摄中分阶段
加载
300万条记录,然后提交,或者是某种增量负载,比如10k,20k……300万。
浏览 2
提问于2022-06-14
得票数 0
1
回答
从GCS (google云存储)外部阶段
加载
数据
的
斯诺管道支持
snowflake-cloud-data-platform
(一个用户提出了一个有趣
的
问题,该用户在这个论坛上发表文章) 我们正在尝试从GCS中摄取数据,并希望使用斯诺管道REST进行此操作,但在这一点上我们没有成功。你们能让我们知道GCS是否支持斯诺管道(用于连续
加载
以及通过REST端点触发)。此外,如果不支持它,我们能知道
时间
线什么时候
雪
管
支持将在那里
的
GCS。
浏览 3
提问于2019-10-15
得票数 1
回答已采纳
1
回答
在阶段中使用文件创建Snowpipe副本失败
snowflake-cloud-data-platform
当我尝试从阶段文件
加载
下面的数据时,它失败并返回无效
的
日期,
有没有
办法
解决这个问题?而不改变源文件。我正在试着架设一个
雪
管
create or replace file format Ally_format field_delimiter
浏览 0
提问于2021-05-25
得票数 0
1
回答
雪
管自动暂停和自动摄取不起作用
snowflake-cloud-data-platform
我正在使用
雪
管自动摄取数据到原始表中。我也在使用auto_ingest=true,但是数据并没有像预期
的
那样
加载
。在进一步检查时,发现相应
的
雪
管
处于停顿状态。然而,我没有手动暂停管道。或任何关于如何排除故障
的
建议,以找出管道本身被暂停
的
原因。
浏览 4
提问于2022-01-11
得票数 1
1
回答
雪花-
雪
管
天蓝色珠- auto_ingest不工作
azure-blob-storage
、
snowflake-cloud-data-platform
如本文所述,我已经创建了所有(我认为
的
)但是管道只有在运行“更改管道myPipe刷新”之后才能工作。 数据
加载
是正确
的
,但是auto_ingest不能工作。请给出一个如何找到问题
的
建议。
浏览 4
提问于2021-12-07
得票数 1
2
回答
如何将数据从内部stage连续拷贝到雪花表?
snowflake-cloud-data-platform
我已经在snowflake中
加载
了内部/names stage中
的
数据,现在想不断地将数据从内部stage复制到snowflake表中。我读到通过
雪
管
的
连续
加载
只支持外部阶段,而不支持内部阶段。那么从内部stage连续
加载
数据到雪花表
的
方法是什么呢? 提前谢谢。Amrita
浏览 2
提问于2020-08-24
得票数 1
1
回答
Infastructure & s3子文件夹
snowflake-cloud-data-platform
我正在尝试建立可伸缩
的
雪
管
基础设施。我有一个AWS函数,它可以拖动数据并将原始
的
json文件放入它们下面的对应文件夹中。生活在leads文件夹中
的
leads json文件现在被管道传输到雪花中
的
leads_json表中。生活在机会文件夹中
的
机会json文件现在被管道传输到雪花中
的
opportunitie_json表中。
浏览 0
提问于2020-01-29
得票数 1
回答已采纳
1
回答
在后台打开/
加载
URL
javascript
、
html
、
url
必须
加载
/打开URL才能触发操作。 作为一个简单
的
前任。
加载
url:.../RedLedOn ->亮起红色发光二极
管
加载
url:.../BlueLedOn ->亮起蓝色发光二极
管
加载
url:.../BlueLedOff ->关闭蓝色发光二极
管
有没有
办法
加载
一个隐藏在后台
的
URL,这样操作就会被触发,但用户会留在网站上
浏览 16
提问于2020-01-20
得票数 0
2
回答
在雪花中调度副本命令
的
最佳方法
snowflake-cloud-data-platform
我把数据放进了蓝色水珠
的
仓库里。根据雪花文档,我很困惑,是否应该使用下面的sql查询来创建雪花
的
任务特性:还是我应该用
雪
管
浏览 0
提问于2021-11-28
得票数 1
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
我们是怎样将网站加载时间减少24%的?
我们是怎样将网站加载时间减少 24% 的?
从微信、钉钉等APP,看六种常见的loading 加载设计
懒加载和预加载-浪里行舟
浅谈Web前端优化的本质与方法
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券