1回答
多线程，解析来自多个文件的数据流
、、、、
我有一个python程序，它解析数据流，如下所示 tail -F /path1/restapi.log -F /path2/restapi.log | parse.py parse.py正在解析来自sys.stdin.readline的数据 import reimport json
return reduce(date_status.grou
浏览 17提问于2020-10-08得票数 0
3回答
Java中的并行XML解析
、、、、
我正在编写一个应用程序，它处理大量具有深度节点结构的xml文件(>1000)。使用 (Event )解析一个有22.000个节点的文件需要大约6秒的时间。该算法被放置在一个具有用户交互的进程中，其中只有几秒钟的响应时间是可以接受的。因此，我需要改进如何处理xml文件的策略。
我的过程分析了xml文件(只提取了几个节点)。对提取的节点进行
浏览 3提问于2010-11-17得票数 13
回答已采纳
数据流在管道中执行，在该管道中，我根据一个变量设置参数$owColList_md5，该变量是从包含逗号分隔字符串的单行CSV文件填充的 ? 如果我在CSV文件/变量中有一个用单引号封装的列名，并且勾选了"Expression“复选框，它就可以工作。问题是要让它与多个列一起工作。在变量中有多个项目，每个项目都封装在单引号中，或者可能使用逗号分隔它们，这似乎存在解析问题。我还尝试使用不带引号的<
浏览 24提问于2020-04-16得票数 0
回答已采纳
我需要通过读取该特定文件的MFT记录来获得文件大小。请告诉我的偏移量，在哪里我可以找到文件大小和文件的位置上的光盘。
浏览 4提问于2015-05-13得票数 0
1回答
我知道NTFS支持ADS，这意味着多个数据流，而每个数据流都有不同的名称。但是，我目前正试图解析我的卷，并且一个特定的MFT记录拥有3未命名的，唯一(大小和数据运行不同)数据流。文件中填充256 of的"~“(单字符)，所有数据流都在收集属性列表属性的相关MFT记录中找到。在正常的“流”中，我将解析所需流的</
浏览 3提问于2016-11-16得票数 0
回答已采纳
1回答
线程对流
、
最近，我开始学习Java，我有一个关于IO流和线程的问题。在我们的语言中，这两个定义都像"Поток“一样翻译，这让我感到困惑。类
浏览 2提问于2021-07-31得票数 2
回答已采纳
1回答
我必须在多线程服务器实例的客户端下分发数据流，客户端线程只需要读取。这意味着我有一个线程，数据来自该线程，所有其他线程都需要读取该数据(它们不再需要更改它)，以便它们可以将数据发送到客户端。我尝试了线程安全队列()，但是当我尝试使用多个客户端时，只有第二个或新的客户端收到了数据。卢克
浏览 0提问于2018-09-17得票数 0
4回答
此游戏引擎加载操作所需的多个文件。这些文件大多是归档文件，其中包含大量文件。这些文件被单独分解成zlib压缩块。15个存档文件(每个10MB)每个文件由数百个压缩块组成。我意识到，如果我在块膨胀水平上这样做，它将平均分配任务，如果有一个非常大的文
浏览 8提问于2015-11-30得票数 2
5回答
用于多线程数据流的UML
、、、、
我想画一个图，在图中你可以看到java程序的数据流，以及是否有一个或多个线程处理数据。我想画一些盒子(比如类/包图)并把它们连接起来。也许让一个盒子加倍，并在其间插入...，以表明可以有多个线程。
对于这种数据流图，UML有什么图？
浏览 0提问于2011-06-14得票数 5
回答已采纳
我必须从多个文件夹中解析多个日志文件，并且我希望加快这些日志文件的解析速度。我必须从所有这些文件的行中找到一些特定的字符串，才能获得组合形式的最终统计数据。我不确定如何使用python多线程来实现这一点，以及它的效率如何。我看了不同的教程，但不清楚在多线程的可变文件情况下如何
浏览 0提问于2018-09-28得票数 1
1回答
对于相当复杂的数据流，我使用Power (PQ)。单个文件中的许多查询逐渐延长了计算时间，因此我将PQ拆分为多个Excel文件。我想出了解决办法：
VBA -我能够更新引用<em
浏览 3提问于2021-08-23得票数 0
回答已采纳
3回答
当然，信息获取是在多个后台线程中完成的；它们中的大多数不应该是计算密集型的(除了一些文本解析)，但主要依赖于获取but内容(webclient.Download。和类似)。因为我必须发送很多请求，所以我启动了很多线程，否则用户将不得不等待几个小时才能完成所有加载；因为这些线程中的许多主要是等待来自网络的数据和/或启动对new服务的新请求，理论上这应该不是问题。然而，在实践中，调度程序的性能
浏览 7提问于2014-07-18得票数 2
2回答
如何确保这些文件是XML文件
、、、、
我对文件及其相关安全性不太了解。我在XML文件中有很多数据，我正计划解析这些数据以将其放入数据库中。我从第三方那里得到了这些XML文件。我将得到每天至少1000个文件。因此，我将编写一个脚本来解析它们，以便输入我们的数据库。现在我对此有很多疑问。
我知道如何解析单个文件。我可以在一个循环中将逻辑扩展到多个文件。But.Is有更好的方法来做同样的事情吗？如何使用
浏览 2提问于2011-07-30得票数 1
回答已采纳
1回答
我有一个SSIS包，用于: 1.从平面文件源读取记录；2.通过调用webservice将附加的响应列添加到缓冲区3中进行转换。将所有输入记录和响应列输出到目标文件中。2是我编写的自定义转换数据流任务，它是同步的，因为我要输出输入。
我最初从默认缓冲区大小和engineThread属性中认为，它已经是多线程的，并且会同时调用多个ProcessInputs。我怎么才能让它变成多线程呢？我在谷歌上搜索过，但发现自己变得更困
浏览 0提问于2015-07-02得票数 0
1回答
我刚开始使用dataflow来创建一个管道，因为我的源是来自ADLS gen2的多个json文件。在数据流中为复制数据创建源时，我无法从源json加载或导入架构。此外，在源选项中，我们有3种类型的文档表单，即单文档、文档数组、每行文档。我试过所有的方法，但没有运气。在模式推理中检测到格式错误的详细记录。解析模式: FAILFAST提前感谢！
浏览 3提问于2022-06-15得票数 0
我有一个关于SSIS包性能的问题。在您有来自多个源的多个表要馈送的情况下，是将多个数据流并行放入一个数据流中，还是将每个数据流放入一个数据流中，并按顺序相互链接，哪个更有效？
谢谢您:)
浏览 1提问于2012-01-03得票数 2
回答已采纳
我们试图处理EventHub捕获文件，在几个字段中对它们进行分组，并将每个分组存储在一个单独的文件中。因此，假设这是Avro文件中的数据(我跳过了默认的EventHub捕获列，如EnqueuedTimeUtc和SequenceNumber)： {"Body": "{\"DataType\": \\"id\": 2}"},
{"Body": "{\"DataT
浏览 2提问于2021-04-22得票数 1
我正在编写一个使用protobuf作为序列化系统的轻量级服务器客户机系统。我对protobufs抱怨缺少所需字段有问题，但是1)字段明显存在于数据流中，2)错误消息没有识别缺少的字段。Exception in ParseFromArray: %s", e.what()); return false;这是我获取完整数据流并试图让大多数情况下，这是很好的工作。of type "myMessages.DataReq
浏览 2提问于2013-09-06得票数 0
回答已采纳
我想将带有多个字符分隔符的数据加载到BigQuery。BQ load命令当前不支持多个字符分隔符。它只支持单个字符分隔符，如'|‘、'$’、'~‘等
我知道有一种数据流方法，它将从这些文件中读取数据并写入BigQuery。但是我有大量的小文件(每个文件400MB)，它们必须写入一个单独的表分区(分区编号在700左右)。这种方法在处理数据流时速度很慢，因为我当前必须启动一个不同的<
浏览 22提问于2016-08-11得票数 3
回答已采纳
3回答
Java多核处理
、、
我想了解Java的多核处理。据我所知，Threading是多核的一种，我觉得我已经很好地掌握了这一点。我知道还有其他方法可以进行多核处理，但我不知道它们是什么。有没有人知道一些好的简单的教程/示例，或者有他们自己的教程/示例，我可以看看，以了解更多关于Java中的多核处理？我找到的所有教程都对图表、图表、背景信息等进行了深入的研究，这真的不是我的编程学习风格。我想要一些快速和简单的东西。
浏览 1提问于2013-01-03得票数 7
回答已采纳
云服务器
ICP备案
实时音视频
即时通信 IM
云直播
腾讯云开发者
