在Python中拆分大型XML文件

文章/答案/技术大牛

发布

5回答

python、xml

我希望将一个巨大的XML文件拆分成更小的部分。我想浏览整个文件，寻找一个特定的标签，然后抓取和之间的所有信息，然后将其保存到一个文件中，然后继续浏览文件的其余部分。我的问题是试图找到一种清晰的方法来记录标记的开始和结束，这样我就可以在使用"for line in f“浏览文件时抓取其中的文本。我不想使用标记变量。有没有一种巨蟒式的方法来完成这件事？文件太大，无法读取到内存中。

浏览 0提问于2009-01-25得票数 10

1回答

将一个大型.xml文件拆分为更多的.xml文件(python)

python、xml、xml-parsing、lxml

几天来，我一直试图在python中将一个大型.xml文件拆分成更多的.xml文件。问题是我还没有真正成功。所以我在这里请求你的帮助。我的大型.xml文件如下所示： <Testcase> <Info2>[]<Info2> &

浏览 5提问于2015-10-20得票数 0

回答已采纳

1回答

如何使用Hadoop处理大型XML文件？

xml、hadoop

我有一个包含600K记录的3 GB XML文件，我需要使用Hadoop每天处理该文件。基本上我需要将这些记录存储在Hbase中。执行此操作的有效方法是什么？我是否应该拆分文件并让多个映射器处理这些文件？你能推荐一种快速拆分的方法吗？谢谢。

浏览 2提问于2013-09-20得票数 0

4回答

将大型XML解析为TSV

hadoop、xml-parsing、saxparser、bigdata

我需要将很少的XML解析成TSV，XML文件的大小是50 GB，我基本上对实现有疑问，我应该选择解析这个--我有两个选项我对Hadoop的实现有相当的了解，但我认为如果能够访问如果有人能提供一个提示/文档来说明如何在Hadoop或高效的SAXparser实现中实现这样一个大文件，或者更确切地说，我应该选择Hadoop或SAXParser，那就太好了。

浏览 5提问于2012-02-24得票数 0

回答已采纳

1回答

XML文件的拆分

c、xml

我正在处理xml文件，但不幸的是我的xml文件变得很大。因此，现在我想将我的xml文件拆分为多个较小的xml文件。可以将一个大的xml文件拆分为多个较小的xml文件吗？例如，如果我们用c语言创建任何项目，那么我们会创建多个c文件，但是main函数总是存在于一个c文件中。所有其他函数或子程序我们

浏览 0提问于2017-04-26得票数 0

1回答

Apache Camel聚合大型(1mil记录) CSV文件时出现问题

csv、apache-camel、unmarshalling

我的问题是(1)有没有更好的策略来解决我的问题(2)有没有可能调整/改进我的解决方案，使它能够工作，并且不会以可靠的方式拆分聚合(3 )如何更智能地调试它？弄清楚聚合器正在做的wtf是很困难的，因为它只在由于其大小而难以调试的大型批处理上失败。其中任何一个的答案都是非常有用的，最重要的是前两个。我正在编写一条路径，以消化一百万行的CSV文件，拆分然后聚合一些主要关键字段上的数据，然后将聚合的记录写入一个表对于几千条记录的小文件，它工作得很好，但在生产中实际面临的大文

浏览 1提问于2013-02-24得票数 1

回答已采纳

1回答

在项目中组织XML文件

spring-integration

我们希望将拆分到几个文件中，例如flow-one.xml和flow-two.xml。在每个这样的文件中，我们都希望有一个input通道。Spring能自动在通道id前加上XML文件名(即flow-one.input和flow-two.input )吗？否则，您将如何处理XML配置(而不求助于一个大型XML文件)？

浏览 1提问于2016-02-09得票数 0

回答已采纳

3回答

如何在Python中拆分大型维基百科转储.xml.bz2文件？

python、xml、mediawiki

我正在尝试使用维基媒体转储文件(.xml.bz2)构建一个离线维基词典。我从文章开始作为指南。它涉及到许多语言，我想把所有的步骤组合成一个单一的python项目。现在唯一的困难是有效地将大型.xml.bz2文件拆分成多个较小的文件，以便在搜索操作期间更快地进行解析。我知道bz2库存在于python中，但它只提供压缩和解压缩操作。但是我需要一些可以像bz2recover一样从命令行做的事情，它将大文件</em

浏览 1提问于2011-05-31得票数 7

回答已采纳

1回答

是否可以让Tokenizer名称空间感知(使用拆分器时)

xml、apache-camel、xml-namespaces

我们有一个正在处理非常大的xml文件(3GB+)的应用程序。对于拆分，我们使用Tokenizer。我们收到xml具有不同的名称空间前缀，或者根本不使用前缀。Tokenizer有可能处理这个问题吗？Action</order>我们的路线： <from uri="file:process-xmldelete=t

浏览 2提问于2012-09-11得票数 2

1回答

为Hadoop将大型XML文件拆分为可管理的部分

xml、hadoop

在Hadoop中，是否有一个输入类可以根据树形结构处理多个大型XML文件？我有一组具有相同模式的XML文件，但我需要将它们拆分成数据部分，而不是将这些部分拆分。例如，XML文件将为： <parent> data </parent> <

浏览 0提问于2010-03-04得票数 5

回答已采纳

1回答

使用custome xml导入blogger +2000帖子

xml、blogger、blogs

我的步骤:1.使用blogger设置选项将内容备份为xml。2.添加与现有xml标记和格式相同的自定义post细节。3.使用导入内容选项和上传xml文件，而不使用发布选项。我不是从wordpress或任何其他需要批量上传的定制blog.it中迁移的

浏览 6提问于2022-03-28得票数 0

1回答

试图使用XSLT拆分XML文件时出错

xml、xslt

我一直试图根据一个大型xml文件的节点将其拆分为多个文件。我在互联网上到处查看，发现XSLT应该完成这项工作，但是当我尝试本文中描述的示例，然后在浏览器中访问xml文件时，这条消息出现了: XSLT转换过程中的错误: XSLT转换失败。我是不是遗漏了什么？

浏览 5提问于2014-02-25得票数 0

回答已采纳

2回答

使用结果文档和javax.xml.transform.Transformer拆分xml文件

xslt

我有一个XSLT，它将使用以下xslt代码将大型xml文件拆分成多个xml文件。<xsl:variable name="filename" select="resolve-uri(concat('splitfilesfolder/',position(),'.xml'))" /><xsl:result-document href="{$file

浏览 0提问于2010-01-11得票数 4

回答已采纳

3回答

如何在大型XML输入文件中处理Hadoop拆分

hadoop、mapreduce

我有一个非常大的输入文件，它是一个XML数据。 } endPos = mapBooks.size();使用DOM解析器来处理XML解析部分

浏览 0提问于2015-09-16得票数 0

7回答

能够在windows中打开大型XML文件的程序。

php、xml、parsing、file

我需要解析和处理XML提要，不幸的是，这个提要的大小约为110 if (我不能对它做任何事情)，但是要能够解析它，我需要看到结构(或者如果有人有我想听的任何其他想法)。但是由于某种原因，我一直无法打开这个文件。我在一台64位的Vista机器上，有4gb的内存(很多是免费使用的)，但是文件崩溃了我试图用它打开的每个程序。看起来XML文件不仅很大，而且都在一行上，这似乎打破了大多数程序中的行限制。选择的答案textpad++检测到了这一点，并在不同的行中破

浏览 9提问于2009-12-01得票数 2

回答已采纳

2回答

如何使用绑定变量在表中插入大数据

sql、xml、oracle

我正在尝试将一个长度为43000的大型xml文件插入到clob中。所以我问题是如何在绑定变量中插入大型xml文件。这是我的程序(p_xml IN clobAS declare xdbms_lob.getlength(x) into y from d

浏览 6提问于2016-08-01得票数 0

回答已采纳

1回答

在python中拆分大型数据文件

python、excel、large-data、large-data-volumes、data-management

我用python将一个大数组输出到一个文本文件中。然后我在excel中读取它以绘制数据。目前，我正在写入的文件太大，无法在excel中读取。我使用文件打开和关闭函数，并将数据写入数组(请参考代码)： with open("abc.txt", "w") as file: file.close() 问:如何拆分数

浏览 15提问于2021-02-10得票数 1

回答已采纳

2回答

使用php拆分大型XML文件

php、dom-manipulation

我正在尝试将一个大文件分组到每个单独的文件中(按其位置索引分组) 示例XML： <team> <fname>Jon</fname> <age>21</age> </team>

浏览 24提问于2020-09-18得票数 0

回答已采纳

1回答

在Python中解析大型XML文件

python、xml、python-3.x、celementtree

我们有一个来自API的大型XML文件，我需要将其转换为SQL Server表。使用pyodbc将表装载到SQL中是没有问题的，但是我很难解析16mb的XML文件。该文件格式良好-它被包装在单个根目录中。几个星期以来，我一直在寻找解决方案，但一直没有能够通过反复试验来解决这个问题。任何帮助都是非常感谢的。简而言之，目标是以表格格式输出XML文件中包含的所有值，其中每条记录都在各自的行

浏览 1提问于2018-04-01得票数 1

1回答

firefox (9)，javascript，分配大小溢出，由于大数据文件。有什么方法可以避免这种情况吗？

javascript、firefox、size、overflow、allocation

我正在做一个网络应用程序，其中包括，做第一次转换读取.csv文件，并转换为.xml文件。错误:分配大小溢出

浏览 0提问于2012-01-13得票数 5

点击加载更多