腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
加快Google Cloud Dataflow发布/订阅的
读取
频率
我有一个从PubSub
读取
数据的Java
数据流
作业。
数据流
读取
一条消息大约需要5秒。 我怎么才能加快速度呢?我假设
数据流
是从PubSub中提取的,而不是PubSub将消息推送到
数据流
中。
浏览 0
提问于2019-08-10
得票数 0
1
回答
在作业中
读取
bigtable上的大型查询表花费的时间太长
、
、
、
我有一个
数据流
作业,它从bigquery表(在大表之上创建)
读取
。
数据流
作业是使用java中的自定义模板创建的。我需要处理bigquery的大约5亿条记录。我面临的问题甚至是
读取
100万条记录,大查询
读取
需要26分钟,
数据流
工作需要36分钟。在大查询中
读取
太慢。 任何关于如何提高阅读性能的建议。
浏览 10
提问于2022-12-02
得票数 1
1
回答
StoreNr :设置(1) SSIS和(2) SSIS的列表变量,然后在where子句中使用它们
1.脚本任务:设置(A) inventory count和(B) StoreNr数组2.
数据流
任务:在where子句中使用列表变量(以过滤,从而提高性能) *脚本任务必须从服务器A
读取
,
数据流
任务必须从服务器B
读取
。我不想使用链接服务器,也不想筛选
数据流
的下游,而是希望筛选
数据流
源(OLE DB)中的where子句。
浏览 0
提问于2012-09-22
得票数 0
回答已采纳
1
回答
设计
、
我们需要您对以下场景的
数据流
设计提供指导。 需求:我们需要构建一个
数据流
作业来
读取
数据流
MS数据库并写入Bigquery。我们需要
数据流
作业作为输入“表名列表”(源表和目标表名称)来
读取
和写入数据。问题:在每天的日程安排中,
数据流
是否可以将表列表(即50个表名)作为输入,并将数据从源复制到目标,还是将其设计为50个独立的
数据流
作业。
数据流
是否会自动调整员工数量-而不会降低源MS服务器?
浏览 4
提问于2021-12-13
得票数 -1
2
回答
在发生错误时跳过
数据流
组件
、
当
数据流
任务引发特定错误时,我希望跳过该组件。 准确地说,我从
数据流
中
读取
不同源文件/连接中的数据,并对它们进行处理。问题是,我不能确定是否会找到所有源文件/连接。我希望跳过从源
读取
数据的组件,而不是检查可以连接到的每个源,而是继续执行
数据流
。是否有可能在组件之后继续
数据流
,该组件最初通过从On_ error -Eventhandler (
数据流
任务的)跳回下一个组件来抛出错误?或者,通过跳过组件来继续执行
数据流
任务,还有其他方法吗
浏览 0
提问于2014-02-13
得票数 1
回答已采纳
3
回答
SSIS:如何
读取
WebSphere MQ、转换和写入平面文件?
、
我已经编写了一个脚本任务来
读取
数据,并且可以将其输出到变量或文本文件。但是我想使用它作为
数据流
步骤的输入,并转换数据。最终目标是平面文件。任何想法都很感谢!
浏览 0
提问于2012-02-27
得票数 1
回答已采纳
1
回答
Azure数据工厂
数据流
- Parquet、Schema和数据类型"Any“
、
、
我在Azure中有一个
数据流
,他正在
读取
Parquet文件中的数据。除了一个文件外,它对所有文件都是平滑的。
数据流
失败了,出现了错误:Could not read or convert schema fro the file ...,进入调试模式后,我意识到我的一篇专栏被
数据流
视为数据类型any(参见下面的屏幕快照)。在原始文件中,架构
读取
此列的TIME_MILLIS类型。我如何告诉
数据流
至少将本专栏视为Text?
浏览 3
提问于2022-03-06
得票数 0
回答已采纳
2
回答
如何标记
数据流
中的已读文件?
、
、
、
、
我正在使用
数据流
从GCS存储桶中
读取
文件,并对其进行一些转换。为此,我使用了beam.io.ReadFromText()方法。标记已经
读取
的文件的最佳方式是什么,以便相同的文件不会被
数据流
重复
读取
?
浏览 5
提问于2020-07-02
得票数 1
1
回答
SSIS - DB目标动态表名
、
在ssis包中创建具有控制流的表A、B、C后,用
数据流
读取
Excel。我想把数据放在处理后生成的表A,B,C中。控制流(创建表(A,B,C)) ->
数据流
(
读取
Excel ->拆分->插入表(A,B,C))
数据流
创建问题表SQL脚本函数目标错误消息我认为动态表是必要的
浏览 0
提问于2018-08-06
得票数 1
回答已采纳
5
回答
向向量添加一个整数
、
嗨,伙计们,在
读取
我们使用的输入
数据流
时如果BufferedReader可以很好地
读取
数据流
,为什么我们不能直接使用为什么我们需要InputStreamReader ?
浏览 0
提问于2012-10-15
得票数 2
1
回答
读取
Azure
数据流
中的SQL加密列
、
、
Azure Synapse Analytics数据库中的表中几乎没有加密的列,我希望在Azure
数据流
中以解密模式
读取
这些列。那件事怎么可能?使用下面的示例,我能够解密该列并在SSMS中
读取
它: CAST(decryptbykey([Encrypted Number]) as nvarchar(254)) 'DecryptedNumber'但是,我无法在Azure
数据流
中运行相同的查询。如果我
读取
Azure
数据流</em
浏览 12
提问于2022-06-27
得票数 0
1
回答
HTTP请求包含流
、
当我们使用节点js中的流时,很容易理解从磁盘到节点js然后到磁盘的
数据流
。但是如果流来自请求体呢?当
数据流
被
读取
或者node.js将整个
数据流
保存在内存中时,这些
数据流
是通过网络进行的。
浏览 0
提问于2018-11-01
得票数 0
回答已采纳
1
回答
从本地计算机
读取
文件并使用google
数据流
写入BigQuery或google存储。
、
、
是否有方法从本地计算机
读取
csv文件并使用google
数据流
将其写入大查询或存储?如果它存在,应该使用哪个跑步者? 所有google
数据流
示例要么从云中
读取
,要么写入云存储或大查询。我使用DirectPipelineRunner从本地计算机
读取
和写入本地计算机。
浏览 3
提问于2016-08-04
得票数 1
回答已采纳
1
回答
NTFS:多个$DATA属性,同名
、
、
我知道NTFS支持ADS,这意味着多个
数据流
,而每个
数据流
都有不同的名称。但是,我目前正试图解析我的卷,并且一个特定的MFT记录拥有3未命名的,唯一(大小和数据运行不同)
数据流
。文件中填充256 of的"~“(单字符),所有
数据流
都在收集属性列表属性的相关MFT记录中找到。在正常的“流”中,我将解析所需流的数据运行,并从所需的偏移量
读取
所需的长度。我应该如何处理这种情况?(==
读取
文件的内容)
浏览 3
提问于2016-11-16
得票数 0
回答已采纳
1
回答
nix能处理NTFS ADS
数据流
吗?
两到三年前,我(在Windows中)试验了NTFS元数据(交替
数据流
)。这似乎是一个有趣的想法,但肯定不是“便携”。 是否有NTFS-ADS识别工具可以
读取
和/或写入这些ADS数据?
浏览 0
提问于2011-06-03
得票数 10
回答已采纳
2
回答
流式
数据流
如何决定如何/何时将元素传播到下游转换?
、
、
我有一个从pubsub订阅
读取
的流式
数据流
,没有应用窗口。管道的第一步是
读取
pubsub订阅。在将消息发送到下一步之前,
数据流
如何决定它应该在第一步中累积多少消息,并在pubsub上继续
读取
更多传入消息?
浏览 0
提问于2020-09-28
得票数 0
1
回答
在
读取
google
数据流
中的文件时,是否跳过前面的行?
、
、
当使用google
数据流
读取
文件时,我想跳过前面的行。这个特性在最近的版本中可用吗?这些文件保存在谷歌的存储中。我将把这些文件写入大查询。我希望google
数据流
忽略第一行,只将其余行写到大查询中。
浏览 2
提问于2016-07-27
得票数 1
回答已采纳
1
回答
如何在Azure数据工厂的
数据流
中获取数据库连接状态?
、
、
我已经创建了一个天蓝色的数据工厂,在里面我使用
数据流
。 这个
数据流
包含多个操作,比如从blobs
读取
一些文件,从azure数据库
读取
一些表数据。我的问题是,每当我的
数据流
活动试图从数据库
读取
表时,我就会得到一个错误,因为当时我的数据库处于暂停状态。在
数据流
中有什么方法可以做吗?
浏览 1
提问于2020-12-18
得票数 0
回答已采纳
1
回答
云功能可以有效地调度
数据流
吗?
、
、
使用Cloud functions安排
数据流
作业的一些最佳选项是什么?我想安排
数据流
作业在某个时间启动和停止。
数据流
作业可能正在从无限源
读取
,并且可能会连续运行,因此希望将其安排为停止。
浏览 0
提问于2018-08-16
得票数 1
1
回答
DataFlow无法
读取
存储在Blob存储中的API响应json文件
、
、
数据流
无法
读取
存储在blob存储中的API响应json文件,如果该文件被手动放置在相同的位置,则工作正常,但是对于json api响应
数据流
显示损坏的文件?在dataset中,我可以预览文件,但在
数据流
中,它不起作用。
浏览 0
提问于2020-12-04
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
LSL实时数据流(二)之NIRS数据读取
厚土Go学习笔记 32.Readers读取数据流
读取-存储-发送
读取数据.py
TCP交互数据流
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
活动推荐
运营活动
广告
关闭
领券