腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
Snowflake
streams
对
它们
可以
处理
的
数据量
是否
有
任何
限制
snowflake-cloud-data-platform
我正在考虑使用
streams
和tasks将数据从Kafka
Snowflake
连接器创建
的
CDC表( JSON格式)转换和传输到完全结构化
的
Snowflake
表。我想知道流
可以
处理
的
数据量
是否
有
任何
限制
。我说
的
是每天
处理
数百万条记录。
是否
有人已经在大数据上测试了流? 提前谢谢。
浏览 19
提问于2021-04-27
得票数 0
1
回答
雪花任务和流-复杂性和可视化
snowflake-cloud-data-platform
我们即将进入POC,需要确定
Snowflake
任务和流
是否
对
CDC和数据转换有用。我已经阅读了
snowflake
文档,并且我读得越多,它看起来就像是一个复杂
的
混乱,难以
处理
。考虑到成千上万
的
表和复杂
的
转换,任务和流将如何扩展?考虑一个从其他5个提要加载
的
表,这个过程会是什么样子。最重要
的
是,
snowflake
没有提供
任何
可视化来
处理
任务。你们中一些使用
Sn
浏览 13
提问于2021-03-23
得票数 0
1
回答
雪花
的
异步外部函数与HttpStatus 429无关
aws-lambda
、
aws-api-gateway
、
snowflake-cloud-data-platform
、
snowflake-schema
在我们
的
场景中,我们将某些信息存储在雪花
的
表中,并尝试使用雪花
的
来丰富这个表。 如果记录
的
数量较少,我们
可以
丰富表格。如果我们试图丰富300万条记录,那么在特定
的
时间之后,我们
的
TAPI开始发送HTTP 429。这是一个指示器,它告诉我们
的
lambda函数减慢
Snowflake
的
请求数量。我们明白这一点,当Lambda函数获得HTTP 429时,它会在
任何
轮询/post请求中将HTTP 4
浏览 2
提问于2021-10-08
得票数 4
2
回答
Snowflake
中
的
调度程序作业
snowflake-cloud-data-platform
、
snowflake-schema
有没有办法让
snowflake
中
的
调度器作业以特定
的
时间间隔每天、每月或每周运行一些查询?谢谢
浏览 28
提问于2021-07-28
得票数 0
2
回答
Windows性能计数器
限制
windows
、
performancecounter
可以
发布到自定义Windows性能计数器类别的
数据量
有
哪些
限制
?
是否
对
所有性能计数器类别的总数或大小有
限制
?在
处理
需要发布
的
相对大量
的
数据时,还应该考虑哪些因素? 为了正确理解这一点,我需要发布大约50,000个32位计数器实例值。我<em
浏览 3
提问于2008-11-05
得票数 3
4
回答
查询字符串
的
最大可能长度是多少?
browser
、
max
、
query-string
另外,不同
的
web堆栈
是否
对
它们
可以
从请求中获得
的
数据量
有
不同
的
限制
?
浏览 21
提问于2009-05-01
得票数 625
回答已采纳
2
回答
如何使用Azure数据工厂在雪花表中实现scd2
azure-data-factory
、
azure-data-factory-2
、
scd2
、
snowflake-cloud-data-platform
我
的
源表和目标表只存在于
snowflake
中。整个过程必须使用Azure数据工厂来完成。我浏览了azure提供
的
使用数据流实现scd2
的
文档,但当我尝试为
snowflake
connection创建数据集时,它显示为禁用。有没有
任何
方法或
任何
文档,我
可以
看到步骤,在adf中创建雪花表
的
SCD2。 感谢vipendra
浏览 33
提问于2020-06-10
得票数 0
1
回答
雪花数据共享--有没有办法授予用户特定
的
访问权限?
snowflake-cloud-data-platform
我们希望与共享单个
Snowflake
帐户
的
部门共享数据,但需要对我们
的
数据进行差异化访问。更新:我们正在使用安全
的
数据共享来在账户之间共享数据。如果可能,我们希望能够
限制
对
其他帐户上
的
特定用户或
浏览 2
提问于2020-03-10
得票数 1
1
回答
我应该
对
小文件使用NodeJS
streams
吗?
node.js
、
node-streams
使用
streams
API返回二进制/blobs总是有意义
的
吗?还是在使用
它们
处理
小文件时有缺点? 我正在考虑使用NodeJS代理来返回存储在S3中
的
小图像(~60KB)。这样我就
可以
在NodeJS中添加一层身份验证。据我所知,NodeJS
streams
对
大文件
的
内存效率更高,速度更快,然而,我想知道使用
streams
处理
小文件
是否
有
任何</e
浏览 17
提问于2020-11-13
得票数 0
1
回答
http中post数据
的
最大大小
http
、
post
、
size
对于
可以
使用HTTP POST发送
的
数据量
是否
有
任何
限制
?我在一些电子邮件中看到附件
有
25MB或20MB
的
限制
……但我认为
它们
是由服务器或应用程序强加
的
……另外,在字段
的
值大小方面也有
限制
吗?为什么隐藏字段中<e
浏览 2
提问于2012-08-03
得票数 11
2
回答
从Azure数据工厂摄取数据到
snowflake
azure
、
amazon-s3
、
azure-data-factory
、
snowflake-cloud-data-platform
、
azure-databricks
问:谁能帮我找到一个不使用Azure blob存储
的
情况下,将azure数据工厂中
的
数据摄取到雪花表中
的
解决方案?要求:我们将一组客户id存储在
snowflake
表中,now.We希望迭代每个客户id,并使用WebAPI从亚马逊S3获取所有客户详细信息,然后将其写回
snowflake
表。当前
的
系统使用Azure Databricks(PySpark)来发布客户id,并使用WebAPI从S3获取相关
的
json数据,解析json来提取我们需要
的
信息并将其写
浏览 19
提问于2020-06-10
得票数 0
5
回答
JavaScript内存
限制
javascript
、
memory
、
browser
JavaScript应用程序
可以
存储
的
数据量
有
上限吗?如果没有
限制
,
是否
会创建页面文件?如果是这样,这不是不安全
的
吗?
浏览 4
提问于2010-05-30
得票数 59
回答已采纳
1
回答
Kafka
Streams
0.9.1.0-cp1单话题消费控制率?
stream
、
apache-kafka
我正在尝试使用涉及join
的
Kafka
Streams
应用程序来反向
处理
Kafka主题中
的
数据。其中一个要加入
的
流在相应主题中
的
单位时间内具有大得多
的
数据量
。我希望控制单个主题
的
消耗,以便在单个consumer.poll()中从每个主题获得大致相同
的
事件时间戳。然而,似乎没有
任何
方法来控制支持源码流
的
KafkaConsumer
的
行为。
有
什么办法<
浏览 7
提问于2016-09-09
得票数 2
回答已采纳
1
回答
RLS (行级安全)
是否
限制
DAX查询中扫描
的
数据?
powerbi
、
dax
、
ssas-tabular
我很好奇这里
是否
有人能告诉我RLS
是否
会
限制
DAX测量中扫描
的
数据量
?我
的
RLS表通过标准星型模式中
的
双向关系连接到我
的
事实表。由于需求,我构建了一组非常复杂
的
度量,我担心一旦
对
所有数据进行了
处理
,它
的
性能可能会很差。目前,数据仅由组织内
的
几个实体组成,但一旦
处理
完毕,模型将接近5亿条记录。我正在使用大量
的
迭代器,我希望
浏览 0
提问于2020-01-10
得票数 0
回答已采纳
1
回答
使用MPI在多核上运行
c++
、
mpi
、
cpu-cores
我使用当前命令提交MPI作业: mpirun -np no.of
处理
器文件名
是否
可以
从MPI运行命令行提交一个作业以在同一个节点上运行多个核心或多个节点?如果是的话,怎么做?以上
是否
需要在代码中设置特殊注释?我从一些文献中了解到,内核之间
的
浏览 2
提问于2011-05-19
得票数 6
回答已采纳
1
回答
使用不同
的
序列时间填充事实数据表
sql
、
snowflake-cloud-data-platform
、
data-warehouse
、
snowflake-schema
、
sql-data-warehouse
我使用以下查询来填充我
的
事实数据表: Select sh.isbn_l,sh.id_c,sh.id_s, sh.data,sh.quantity, b.priceinnerjoin Sales as sh on l.isbn=sh.isbn_l 主要
的
事情是,我想要从特定
的
时间到特定
的
时间加载表。因此,如果我今天加载,我将获得从今天到最后一次加载
的
所有记录。 如果我后天加载它,我会得到从今天到后天
的
数据。 我
的
意思是没有重复
的<
浏览 10
提问于2019-06-25
得票数 1
3
回答
是否
有
任何
标准
的
存储过程来捕获
snowflake
中
的
表刷新详细信息
stored-procedures
、
data-warehouse
、
snowflake-cloud-data-platform
、
audit-logging
我试图在雪花DWH中记录表刷新
的
详细信息,包括以下批次日期、源表名称、目标表名、加载
的
行数、时间戳、状态、err.Message。
是否
有
任何
标准
的
SQL\
Snowflake
存储过程
可以
作为通用存储过程,用于整个DWH跟踪\audit表刷新详细信息并将其记录到单个表中。我
有
捕获批
处理
日期、目标表名、源表名称等
的
变量……如果我得到
的
标准存储过程
可以
记录活动
的<
浏览 1
提问于2020-06-05
得票数 0
1
回答
《雪花》中Oracle
的
数字等价物
oracle
、
snowflake-cloud-data-platform
因此,我
有
一个将数据从Oracle迁移到
Snowflake
的
管道。Oracle中有一列
的
数据类型为NUMBER,我在
Snowflake
中
对
其使用了NUMBER(38, 18)。我
的
管道昨天开始失败,因为Oracle中
的
列现在有21位数字,而NUMBER(38, 18)在
Snowflake
中无法
处理
这些数字。我换成了NUMBER(38, 17),现在还行得通。雪花中有没有NUMBER
的
等价物,这样它就
浏览 14
提问于2021-07-01
得票数 1
2
回答
每分钟per服务调用次数
的
限制
php
、
web-services
、
apache
每分钟webservice调用次数有
限制
吗?如果是,我
可以
在哪里设置参数?管理每分钟呼叫次数
限制
的
是什么?是Apache,还是应用程序本身? 好吧,也许我应该表达得更清楚些。我
有
两个PHP应用程序。对于第一次调用,它必须调用一个自定义
的
login方法。由于某些(未知)原因,login方法有时可能返回fail。我
可以
检查对应
的
失败状态码是什么,但同时,我想知道失败
是否
可能是外部因素导致
的
,而不是内部应用程序
的<
浏览 1
提问于2009-06-29
得票数 0
回答已采纳
3
回答
通过存储过程发送大型变量
的
权限(SQL Server)
php
、
sql-server
、
stored-procedures
、
types
、
varbinary
我想不出一种允许通过调用存储过程一次接收超过4000字节
的
方法。我将图像存储在表中,每个图像大约15 -20KB,但一旦获得
它们
并将
它们
显示到页面上,
它们
的
大小总是恰好是3.91KB(或4000字节)。
是否
<
浏览 0
提问于2010-04-20
得票数 2
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
将Flink融合进消息系统,RocketMQ为什么选择了与Kafka不一样的路
初探Kafka Streams
Pravega 基本概念系列-Streams,Events,Writers,Readers,ReaderGroups
Java 8 最佳技巧你知道几个
区块链新型共识算法:Snowflake to Avalanche
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
云直播
实时音视频
活动推荐
运营活动
广告
关闭
领券