解析和处理XML大文件

文章/答案/技术大牛

发布

0回答

java、xml、ram

我正在开发一个独立的java应用程序(spring boot)，它解析和处理大约3~4个大的xml文件，生成一个文件，该文件结合了3个文件中的数据(第一个文件是产品的规格，第二个是产品的详细信息，第三个文件是产品的其他信息)，所以为了获得一个节点的完整信息，我必须读取所有的文件；我的问题是我们没有RAM (我们的客户)，所以我尝试了exist db (只是加载文件并写入它)，它很快，但是RAM使用率对于1.5Go xml

浏览 12提问于2016-12-19得票数 0

3回答

iOS中SAX解析器处理的最大Xml文件大小

iphone、xml、xml-parsing、filesize、max

我需要在iPad中处理超过70mb的xml文件。在iPhone或iPad中可以处理的最大文件大小是多少。如何在iPhone中处理这些大文件？有没有开放源码的解析器来解析iPhone中的xml文件？

浏览 0提问于2011-08-05得票数 1

回答已采纳

1回答

在Extjs4中加载TreeGrid花费的时间太长

extjs4

但是当我有一个巨大的xml文件需要填充到TreeGrid中时，我得到的问题是。这花了很多时间。所以有没有人能在这方面帮我找出可能的问题？在小xml文件的情况下，它工作得很好。

浏览 1提问于2012-05-28得票数 0

1回答

如何解析没有耗尽内存的大型XML文件

ios、objective-c、xml、gpx

我的应用程序可以导入GPX文件，然后使用出色的库来解析XML和GPX，但是在这个例子中，我有一个85 My的文件，我想尝试并解析。它包含超过16,000个GPX通道点，这是巨大的。目前，我将NSURL读入NSData，然后使用解析器。但是当我尝试处理这个大文件时，我会收到内存警告和崩溃。如何对这样的大型文件进行分块分析，以避免内存错误？

浏览 3提问于2016-04-11得票数 0

回答已采纳

5回答

使用xstream解析大型xml文件时的OutOfMemoryError

java、xml、marshalling、xstream、unmarshalling

我在读取大型XML文件"100 MB“并使用xstream解析它时遇到了一个问题。java.lang.OutOfMemoryError: Java heap space error occurs, Object resultDto = xstrea

浏览 4提问于2014-04-10得票数 2

2回答

单独使用lxml来解析XML有什么好处吗？

python、xml、beautifulsoup、lxml

我经常使用Beautiful来解析HTML文件，所以当我最近需要解析一个XML文件时，我选择使用它。但是，因为我正在解析一个非常大的文件，所以它失败了。在研究失败的原因时，我被引导到一个问题：。这就引出了我的问题:如果lxml能够处理大文件而Beautiful不能处理，那么使用Beautiful而不是直接使用lxml有什么好处吗？

浏览 1提问于2015-07-10得票数 1

回答已采纳

2回答

读取大文件时java StAX解析器的问题

java、xml、parsing、sax、stax

我正在尝试使用StAX解析器读取XML文件，该解析器有近180k行。核心逻辑在数据结构中查找特定的标签、属性和存储。对于这种类型的大文件，StAX解析器需要花费大量时间。while (eventReader.hasNext()) { }StAX解析器有什么问题？请推荐适合于大文件的XML解析器，并且在内存和<

浏览 1提问于2018-02-13得票数 0

1回答

STAX使用条件修改嵌套的XML并回写巨大的XML-大约6 GB

java、xml、stax

我是java的初学者，一直在编写一段代码来解压一个包含大约10万个XML文件的zip文件，然后将这些文件合并成一个XML文件，这样我就可以处理一个文件，而不是加载这么多文件。我将文件解压缩并合并到一个文件中，然后使用DOM解析器进行解析，但是现在我需要修改合并后的XML文件，然后将其写回一个文件中。我可以使用DOM解析器和StringBuilder来做这件事，但是看起来StringBuilder无法处理这个大文件，因

浏览 15提问于2021-05-06得票数 0

4回答

PHP SAX解析器的HTML？

php、sax、html-parsing

PHP解析器能够处理甚至无效的HTML代码。我需要它的原因是过滤用户输入的HTML (删除除允许的属性和标签之外的所有属性和标签)，并将HTML内容截断到指定长度。有什么想法吗？

浏览 5提问于2010-05-30得票数 3

3回答

在Perl中定位内存泄漏时遇到困难

perl、memory-leaks、xml-parsing、strawberry-perl

具体来说，输入是(如果重要的话)其中$lat和$lon表示纬度和</

浏览 1提问于2013-04-04得票数 1

回答已采纳

2回答

相当于XMLReader C#的Java

java、xml

由于C#中的XMLReader具有不会一次将整个XML文档放入内存的特性，因此它对大尺寸的XML文件似乎很有帮助。Java有类似的东西吗？

浏览 1提问于2012-10-11得票数 2

2回答

如何对XML文件进行分块解析

python

我有一个非常大的XML文件，其中包含40,000个标记元素。当我使用元素树解析这个文件时，由于内存的原因，它给出了错误。那么，python中有没有什么模块可以读取数据块中的xml文件，而无需将整个xml加载到内存中?我该如何实现该模块？

浏览 3提问于2012-02-12得票数 6

回答已采纳

1回答

在android中使用Xstream解析大型Xml文件速度太慢

android、xml-parsing、xstream

使用Xstream解析器解析xml文件就像小xml文件的护身符一样。有时，我的web响应(xml格式)可能非常大，因为xml文件可能超过10MB。此时，Xml解析需要花费太多时间才能完成。如何提高Xstream解析器对大文件的性能。

浏览 1提问于2015-02-23得票数 2

4回答

我应该使用Perl还是PHP来解析大型XML文件？

php、xml、perl

我想解析一个大的XML文件，我有两个选择: Perl或PHP。作为两种语言的新手，您对解析大型XML文件所选择的语言有什么建议？哪些模块更适合手头的任务？

浏览 1提问于2009-10-27得票数 1

回答已采纳

7回答

对于大于15 GB的文件，您会选择什么Perl XML解析器？

xml、perl、parsing

我知道有一些非常好的Perl XML解析器，如、、、XML::RapidXML、、等。你会选择哪一个XML解析器来解析大文件，你会根据什么参数来决定哪个解析器？如果您想选择的不在列表中，请推荐。

浏览 16提问于2009-10-19得票数 4

回答已采纳

1回答

在Python中解析大型XML文件

python、xml、python-3.x、celementtree

我们有一个来自API的大型XML文件，我需要将其转换为SQL Server表。使用pyodbc将表装载到SQL中是没有问题的，但是我很难解析16mb的XML文件。简而言之，目标是以表格格式输出XML文件中包含的所有值，其中每条记录都在各自的行中列出。XML的Address和Space部分需要对子元素进行适当的处理。我已经有了可以工作的代码，但我不认为这是解析值的“适当”方式： import xml.etree.ElementTree

浏览 1提问于2018-04-01得票数 1

1回答

Python2 sax解析器，大文件的最佳速度和性能？

xml、sax、python-2.x、suds

只有9.2mb，我看到99%的时间都花在了解析上，而解析是由"from xml.sax import make_parser“完成的，这意味着标准的python？对于大文件，有没有更快的xml解析器？我将研究XML到底是哪种结构，但到目前为止，我知道它的"UmResponse“，它包含大约7000个”文档“元素，每个元素包含10-20行元素。编辑:进一步调查，我发现有一半的13花费在suds/sax/ ...中的suds

浏览 1提问于2014-03-04得票数 4

2回答

PHP -读取和修复大量无效的XML文件

php、xml、sax

我必须读取一些非常重的XML文件(在200MB到1 GB之间)，这些文件对某些文件来说是无效的。让我给你举一个小例子： <?xml version="1.0" encoding="UTF-8"?我曾尝试使用SAX解析器读取此文件，但由于缺少</ul>标记，因此在读取</g:material>标记时失败。我尝试过使用XMLReader，但基本上得到了相同的问题。

浏览 2提问于2013-03-28得票数 6

4回答

如何将这些XML数据加载到Xcode中？

objective-c、xml、iphone、xcode

好了，我最终决定了如何加载我的数据，我将把我的图书数据加载为一个XML文件。问题是我不太确定从哪里开始，我听说过“解析”这样的术语，但不知道它到底是如何适用的。

浏览 0提问于2010-03-03得票数 0

回答已采纳

1回答

使用Apache (XSSF用户模型api)和jdbc批处理提高性能

java

实际上我们的项目有下面提到的过程，然后将其存储到JDBC批处理中并执行。

浏览 1提问于2016-11-03得票数 0

点击加载更多