blocks|key|788849|text|就我个人而言，当我必须处理XML文件时(通常是由于暴力威胁)，我会这样做：|type|unstyled|depth|inlineStyleRanges|entityRanges|data|788850|通过DataSet.ReadXML()|788851|Combine+|unordered-list-item|788852|
|788853|信息将每个文件加载到.NET+DataSet中(通过queries).|788854|788855|Write通过DataSet.WriteXML()|788856|
将组合的DataSet输出到DataSet+DataSet|788857|然后，我积极地删除原始的XML文件，并清除磁盘上它所在的扇区，以消除污点。:-)|788858|entityMap^0|0|0|0|0|0|0|0|0|0^^$0|@$1|2|3|4|5|6|7|T|8|@]|9|@]|A|$]]|$1|B|3|C|5|6|7|U|8|@]|9|@]|A|$]]|$1|D|3|E|5|F|7|V|8|@]|9|@]|A|$]]|$1|G|3|H|5|6|7|W|8|@]|9|@]|A|$]]|$1|I|3|J|5|F|7|X|8|@]|9|@]|A|$]]|$1|K|3|H|5|6|7|Y|8|@]|9|@]|A|$]]|$1|L|3|M|5|F|7|Z|8|@]|9|@]|A|$]]|$1|N|3|O|5|6|7|10|8|@]|9|@]|A|$]]|$1|P|3|Q|5|6|7|11|8|@]|9|@]|A|$]]|$1|R|3|-4|5|6|7|12|8|@]|9|@]|A|$]]]|S|$]]

Personally, when I have to deal with XML files (forced by threat of physical violence usually), I do this:

<ol>
<li>Load each file into a .NET DataSet via DataSet.ReadXML()</li>
<li>Combine the information (via DataSet queries).</li>
<li>Write out the combined DataSet to XML via DataSet.WriteXML()</li>
</ol>

Then I aggressively delete the orginal XML file and wipe the sectors where it existed on the disk to remove the taint. :-)

blocks|key|3065255|text|stringbuilder的问题是，您仍然试图将整个内容保存在内存中。您希望一次只在内存中保留一小部分，这意味着要使用文件流。不要将整个文件读到内存中，在它上面打开一个流，然后继续从流中读取。|type|unstyled|depth|inlineStyleRanges|entityRanges|data|3065256|xml的问题是，您不能简单地将它们添加到彼此后面:您会破坏标记嵌套。因此，您需要了解一些关于xml文件结构的信息，以便了解在每个文件边界上要做些什么。|3065257|如果您有一些在理论上可以使用StringBuilder的东西，但只是在实践中因为内存限制而失败，那么您应该能够将StringBuilder的.Append()和.AppendLine()方法调用转换为对文件流的.Write()和.WriteLine()调用。|3065258|entityMap^0|0|0|0^^$0|@$1|2|3|4|5|6|7|H|8|@]|9|@]|A|$]]|$1|B|3|C|5|6|7|I|8|@]|9|@]|A|$]]|$1|D|3|E|5|6|7|J|8|@]|9|@]|A|$]]|$1|F|3|-4|5|6|7|K|8|@]|9|@]|A|$]]]|G|$]]

The thing about stringbuilder is you're still trying to keep the entire contents in memory. You want to only keep a small portion in memory at a time, and that means using filestreams. Don't read an entire file into memory, open a stream on it and keep reading from the stream.

The problem with xml is that you can't just append them to each other: you'll break the tag nesting. So you need to know something about the structure of your xml files so that you can have an idea of what to do at each file boundry.

If you have something that works in theory with StringBuilder, but only fails in practice because of memory constraints, you should be able to translate the StringBuilder's .Append() and .AppendLine() method calls into .Write() and .WriteLine() calls for a filestream.

blocks|key|788804|text|你需要合并的细节确实是至关重要的。但是，首先:您可能需要为每个输入文件提供一个XmlReader，为输出文件提供一个XmlWriter。这将允许您同时流式传输输入和输出。|type|unstyled|depth|inlineStyleRanges|entityRanges|data|788805|另一种选择是使用XStreamingElement从LINQ到XML。我没有这方面的经验，但它很可能是一个使用起来更简单的API。(+LINQ+to+XML的其余部分肯定比DOM更好。)|788806|entityMap^0|0|0^^$0|@$1|2|3|4|5|6|7|F|8|@]|9|@]|A|$]]|$1|B|3|C|5|6|7|G|8|@]|9|@]|A|$]]|$1|D|3|-4|5|6|7|H|8|@]|9|@]|A|$]]]|E|$]]

The details of what you need to merge are indeed vital. However, to start you off: you're likely to want an XmlReader for each of the input files, and an XmlWriter for the output file. That will let you stream both the input and the output.

Another alternative would be to use XStreamingElement from LINQ to XML. I don't have any experience of this, but it may well be a simpler API to use. (The rest of LINQ to XML is certainly nicer than the DOM API.)

blocks|key|3065393|text|请定义“合并”。|type|unstyled|depth|inlineStyleRanges|entityRanges|data|3065394|如果您只想连接这些文件，那么使用StreamReader，并逐行读取。|3065395|如果您实际上想生成一个新的有效xml，那么使用XmlTextReader。它不会读取内存中的整个文件。|3065396|entityMap^0|0|0|0^^$0|@$1|2|3|4|5|6|7|H|8|@]|9|@]|A|$]]|$1|B|3|C|5|6|7|I|8|@]|9|@]|A|$]]|$1|D|3|E|5|6|7|J|8|@]|9|@]|A|$]]|$1|F|3|-4|5|6|7|K|8|@]|9|@]|A|$]]]|G|$]]

Please, define "merge".

If you want just to concatenate the files, then use StreamReader, and read line by line.

If you want actually to produce a new valid xml, then go with XmlTextReader. It does not read the whole file in memory.

blocks|key|788750|text|这取决于您所说的合并是什么意思，因为您还没有发布任何关于模式的信息。|type|unstyled|depth|inlineStyleRanges|entityRanges|data|788751|在单个集合中存在同构的简单元素的最简单情况下，您只需直接合并到磁盘上的一个新文件中，从而避免了大量内存中的工作，从而确保外部包含元素被剥离并添加到集合周围。|788752|entityMap^0|0|0^^$0|@$1|2|3|4|5|6|7|F|8|@]|9|@]|A|$]]|$1|B|3|C|5|6|7|G|8|@]|9|@]|A|$]]|$1|D|3|-4|5|6|7|H|8|@]|9|@]|A|$]]]|E|$]]

It depends what you mean by merge, since you haven't posted any information about the schema.

In the simplest case of homogeneous simple elements in a single collection, you would just merge directly to a new file on disk avoiding much in-memory work, ensuring that the outer containing elements are stripped off and added around the collection.

blocks|key|3911336|text|在这种情况下，我不确定合并是什么意思。你是指简单的文件拼接，还是你在检查内容？|type|unstyled|depth|inlineStyleRanges|entityRanges|data|3911337|例如,|3911338|file1.xml|3911339|<items>
++++<item+id="1">
++++++++<name>Widget</name>
++++</item>
++++<item+id="2">
++++++++<name>Widget+2</name>
++++</item>
</items>|code-block|syntax|javascript|3911340|file2.xml|3911341|<items>
++++<item+id="3">
++++++++<name>Widget</name>
++++</item>
++++<item+id="4">
++++++++<name>Widget+2</name>
++++</item>
</items>|3911342|可以组合为|3911343|<items>
++++<item+id="1">
++++++++<name>Widget</name>
++++</item>
++++<item+id="2">
++++++++<name>Widget+2</name>
++++</item>
</items>
<items>
++++<item+id="3">
++++++++<name>Widget</name>
++++</item>
++++<item+id="4">
++++++++<name>Widget+2</name>
++++</item>
</items>|3911344|这是非常微不足道的，或者作为|3911345|<items>
++++<item+id="1">
++++++++<name>Widget</name>
++++</item>
++++<item+id="2">
++++++++<name>Widget+2</name>
++++</item>
++++<item+id="3">
++++++++<name>Widget</name>
++++</item>
++++<item+id="4">
++++++++<name>Widget+2</name>
++++</item>
</items>|3911346|考虑到您正在讨论的数据量，这就不那么重要了。你指的是什么？|3911347|entityMap^0|0|0|0|0|0|0|0|0|0|0|0^^$0|@$1|2|3|4|5|6|7|10|8|@]|9|@]|A|$]]|$1|B|3|C|5|6|7|11|8|@]|9|@]|A|$]]|$1|D|3|E|5|6|7|12|8|@]|9|@]|A|$]]|$1|F|3|G|5|H|7|13|8|@]|9|@]|A|$I|J]]|$1|K|3|L|5|6|7|14|8|@]|9|@]|A|$]]|$1|M|3|N|5|H|7|15|8|@]|9|@]|A|$I|J]]|$1|O|3|P|5|6|7|16|8|@]|9|@]|A|$]]|$1|Q|3|R|5|H|7|17|8|@]|9|@]|A|$I|J]]|$1|S|3|T|5|6|7|18|8|@]|9|@]|A|$]]|$1|U|3|V|5|H|7|19|8|@]|9|@]|A|$I|J]]|$1|W|3|X|5|6|7|1A|8|@]|9|@]|A|$]]|$1|Y|3|-4|5|6|7|1B|8|@]|9|@]|A|$]]]|Z|$]]

Not sure what you mean by merge in this case. Do you mean simple concatenation of the files, or are you inspectng the content?

for example, 

file1.xml

<pre><code>&lt;items&gt;
 &lt;item id="1"&gt;
 &lt;name&gt;Widget&lt;/name&gt;
 &lt;/item&gt;
 &lt;item id="2"&gt;
 &lt;name&gt;Widget 2&lt;/name&gt;
 &lt;/item&gt;
&lt;/items&gt;
</code></pre>

file2.xml

<pre><code>&lt;items&gt;
 &lt;item id="3"&gt;
 &lt;name&gt;Widget&lt;/name&gt;
 &lt;/item&gt;
 &lt;item id="4"&gt;
 &lt;name&gt;Widget 2&lt;/name&gt;
 &lt;/item&gt;
&lt;/items&gt;
</code></pre>

could be combined as

<pre><code>&lt;items&gt;
 &lt;item id="1"&gt;
 &lt;name&gt;Widget&lt;/name&gt;
 &lt;/item&gt;
 &lt;item id="2"&gt;
 &lt;name&gt;Widget 2&lt;/name&gt;
 &lt;/item&gt;
&lt;/items&gt;
&lt;items&gt;
 &lt;item id="3"&gt;
 &lt;name&gt;Widget&lt;/name&gt;
 &lt;/item&gt;
 &lt;item id="4"&gt;
 &lt;name&gt;Widget 2&lt;/name&gt;
 &lt;/item&gt;
&lt;/items&gt;
</code></pre>

which is quite trivial, or as

<pre><code>&lt;items&gt;
 &lt;item id="1"&gt;
 &lt;name&gt;Widget&lt;/name&gt;
 &lt;/item&gt;
 &lt;item id="2"&gt;
 &lt;name&gt;Widget 2&lt;/name&gt;
 &lt;/item&gt;
 &lt;item id="3"&gt;
 &lt;name&gt;Widget&lt;/name&gt;
 &lt;/item&gt;
 &lt;item id="4"&gt;
 &lt;name&gt;Widget 2&lt;/name&gt;
 &lt;/item&gt;
&lt;/items&gt;
</code></pre>

Which is less so, given the amounts of data you are talking about. Which do you mean?

blocks|key|3911475|text|通过调用"copy+a.xml+%2B+b.xml“命令或调用"copy”命令使用的windows文件系统API，在文件系统中合并它们。|type|unstyled|depth|inlineStyleRanges|entityRanges|data|3911476|entityMap^0|0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]|A|$]]|$1|B|3|-4|5|6|7|E|8|@]|9|@]|A|$]]]|C|$]]

Merge them within the file system by invoking "copy a.xml + b.xml" command or by invoking the windows filesystem APIs used by the "copy" command.

I have 7-8 xml files. Each one is approximately 50 MB in size. What is the best way to merge files programmatically in C# without getting System.OutOfMemory Exception? So far I have tried reading each file in a StringBuilder and than putting it in an array of string builder but I still get system.outofmemoery exception. Any help??
Thank you,
-Nimesh

Merging big files in C#

翻译质量差，导致语言生硬或混乱。

没有提供实际的解决方法或示例。

解答不清晰，无法理解或解决问题。

页面排版不美观，阅读体验差。

文章

问答

视频

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

我有7-8个xml文件。每个文件的大小约为50MB。在不出现System.OutOfMemory异常的情况下，在C#中以编程方式合并文件的最佳方式是什么？到目前为止，我已经尝试读取StringBuilder中的每个文件，然后将其放入字符串构建器的数组中，但仍然得到system.outofmemoery异常。有什么帮助吗？？谢谢你，-Nimesh

问在C#中合并大文件
EN

回答 7

Stack Overflow用户

Stack Overflow用户

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问在C#中合并大文件EN

回答 7

Stack Overflow用户

Stack Overflow用户

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问在C#中合并大文件
EN