我有一个从PubSub读取数据的Java数据流作业。数据流读取一条消息大约需要5秒。
我怎么才能加快速度呢？我假设数据流是从PubSub中提取的，而不是PubSub将消息推送到数据流中。
浏览 0提问于2019-08-10得票数 0
我有一个数据流作业，它从bigquery表(在大表之上创建)读取。数据流作业是使用java中的自定义模板创建的。我需要处理bigquery的大约5亿条记录。我面临的问题甚至是读取100万条记录，大查询读取需要26分钟，数据流工作需要36分钟。在大查询中读取太慢。
任何关于如何提高阅读性能的建议。
浏览 10提问于2022-12-02得票数 1
1.脚本任务:设置(A) inventory count和(B) StoreNr数组2.数据流任务:在where子句中使用列表变量(以过滤，从而提高性能)
*脚本任务必须从服务器A读取，数据流任务必须从服务器B读取。我不想使用链接服务器，也不想筛选数据流的下游，而是希望筛选数据流源(OLE DB)中的where子句。
浏览 0提问于2012-09-22得票数 0
回答已采纳
1回答
设计
、
我们需要您对以下场景的数据流设计提供指导。
需求:我们需要构建一个数据流作业来读取数据流MS数据库并写入Bigquery。我们需要数据流作业作为输入“表名列表”(源表和目标表名称)来读取和写入数据。问题:在每天的日程安排中，数据流是否可以将表列表(即50个表名)作为输入，并将数据从源复制到目标，还是将其设计为50个独立的数据流作业。数据流是否会自动调整员工数量-而不会降低源MS服务器？
浏览 4提问于2021-12-13得票数 -1
2回答
当数据流任务引发特定错误时，我希望跳过该组件。
准确地说，我从数据流中读取不同源文件/连接中的数据，并对它们进行处理。问题是，我不能确定是否会找到所有源文件/连接。我希望跳过从源读取数据的组件，而不是检查可以连接到的每个源，而是继续执行数据流。是否有可能在组件之后继续数据流，该组件最初通过从On_ error -Eventhandler (数据流任务的)跳回下一个组件来抛出错误？或者，通过跳过组件来继续执行数据流任务，还有其他方法吗
浏览 0提问于2014-02-13得票数 1
回答已采纳
我已经编写了一个脚本任务来读取数据，并且可以将其输出到变量或文本文件。但是我想使用它作为数据流步骤的输入，并转换数据。最终目标是平面文件。任何想法都很感谢！
浏览 0提问于2012-02-27得票数 1
回答已采纳
我在Azure中有一个数据流，他正在读取Parquet文件中的数据。除了一个文件外，它对所有文件都是平滑的。数据流失败了，出现了错误：Could not read or convert schema fro the file ...，进入调试模式后，我意识到我的一篇专栏被数据流视为数据类型any(参见下面的屏幕快照)。在原始文件中，架构读取此列的TIME_MILLIS类型。我如何告诉数据流至少将本专栏视为Text？
浏览 3提问于2022-03-06得票数 0
回答已采纳
2回答
如何标记数据流中的已读文件？
、、、、
我正在使用数据流从GCS存储桶中读取文件，并对其进行一些转换。为此，我使用了beam.io.ReadFromText()方法。标记已经读取的文件的最佳方式是什么，以便相同的文件不会被数据流重复读取？
浏览 5提问于2020-07-02得票数 1
1回答
在ssis包中创建具有控制流的表A、B、C后，用数据流读取Excel。我想把数据放在处理后生成的表A，B，C中。控制流(创建表(A，B，C)) ->数据流(读取Excel ->拆分->插入表(A，B，C))
数据流创建问题表SQL脚本函数目标错误消息我认为动态表是必要的
浏览 0提问于2018-08-06得票数 1
回答已采纳
5回答
嗨，伙计们，在读取我们使用的输入数据流时如果BufferedReader可以很好地读取数据流，为什么我们不能直接使用为什么我们需要InputStreamReader ?
浏览 0提问于2012-10-15得票数 2
1回答
Azure Synapse Analytics数据库中的表中几乎没有加密的列，我希望在Azure数据流中以解密模式读取这些列。那件事怎么可能？使用下面的示例，我能够解密该列并在SSMS中读取它： CAST(decryptbykey([Encrypted Number]) as nvarchar(254)) 'DecryptedNumber'但是，我无法在Azure数据流中运行相同的查询。如果我读取Azure数据流</em
浏览 12提问于2022-06-27得票数 0
1回答
当我们使用节点js中的流时，很容易理解从磁盘到节点js然后到磁盘的数据流。但是如果流来自请求体呢？当数据流被读取或者node.js将整个数据流保存在内存中时，这些数据流是通过网络进行的。
浏览 0提问于2018-11-01得票数 0
回答已采纳
是否有方法从本地计算机读取csv文件并使用google数据流将其写入大查询或存储？如果它存在，应该使用哪个跑步者？
所有google数据流示例要么从云中读取，要么写入云存储或大查询。我使用DirectPipelineRunner从本地计算机读取和写入本地计算机。
浏览 3提问于2016-08-04得票数 1
回答已采纳
1回答
我知道NTFS支持ADS，这意味着多个数据流，而每个数据流都有不同的名称。但是，我目前正试图解析我的卷，并且一个特定的MFT记录拥有3未命名的，唯一(大小和数据运行不同)数据流。文件中填充256 of的"~“(单字符)，所有数据流都在收集属性列表属性的相关MFT记录中找到。在正常的“流”中，我将解析所需流的数据运行，并从所需的偏移量读取所需的长度。我应该如何处理这种情况？(==读取文件的内容)
浏览 3提问于2016-11-16得票数 0
回答已采纳
两到三年前，我(在Windows中)试验了NTFS元数据(交替数据流)。这似乎是一个有趣的想法，但肯定不是“便携”。
是否有NTFS-ADS识别工具可以读取和/或写入这些ADS数据？
浏览 0提问于2011-06-03得票数 10
回答已采纳
我有一个从pubsub订阅读取的流式数据流，没有应用窗口。管道的第一步是读取pubsub订阅。在将消息发送到下一步之前，数据流如何决定它应该在第一步中累积多少消息，并在pubsub上继续读取更多传入消息？
浏览 0提问于2020-09-28得票数 0
当使用google数据流读取文件时，我想跳过前面的行。这个特性在最近的版本中可用吗？这些文件保存在谷歌的存储中。我将把这些文件写入大查询。我希望google数据流忽略第一行，只将其余行写到大查询中。
浏览 2提问于2016-07-27得票数 1
回答已采纳
我已经创建了一个天蓝色的数据工厂，在里面我使用数据流。
这个数据流包含多个操作，比如从blobs读取一些文件，从azure数据库读取一些表数据。我的问题是，每当我的数据流活动试图从数据库读取表时，我就会得到一个错误，因为当时我的数据库处于暂停状态。在数据流中有什么方法可以做吗？
浏览 1提问于2020-12-18得票数 0
回答已采纳
1回答
使用Cloud functions安排数据流作业的一些最佳选项是什么？我想安排数据流作业在某个时间启动和停止。
数据流作业可能正在从无限源读取，并且可能会连续运行，因此希望将其安排为停止。
浏览 0提问于2018-08-16得票数 1
数据流无法读取存储在blob存储中的API响应json文件，如果该文件被手动放置在相同的位置，则工作正常，但是对于json api响应数据流显示损坏的文件？在dataset中，我可以预览文件，但在数据流中，它不起作用。
浏览 0提问于2020-12-04得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
