我想读取一个大的xml文件,并将数据存储在数据库中。我以Error: Cannot create a string longer than 0x3fffffe7 characters的身份尝试了xml2js,但是得到了错误。
我想知道处理xml文件的最佳实践,我是否可以直接处理xml,或者使用任何库转换为json,或者将大文件分解为多个小文件?
我正在尝试使用、和来使用Exchange。此服务在SOAP XML HTTP响应中返回base64编码的文件。文件内容包含在单个XML元素的一行中。GetAttachment只是一个例子,但问题更普遍。
我想直接将解码的文件内容流式传输到磁盘,而不在任何时候将附件的全部内容存储在内存中,因为一个附件可能有几个100MB。
我尝试过这样的东西:
r = requests.post('https://example.com/EWS/Exchange.asmx', data=..., stream=True)
with open('foo.txt', 'wb&
我重写了程序,所以它将工作后的网址被重定向,但我无法保存的文件,又名在下载文件夹中看到它。这是网站
from bs4 import BeautifulSoup
import urllib3
urllib3.disable_warnings(urllib3.exceptions.InsecureRequestWarning)
import re
from urllib import request
import requests
import time
#access the web
我有一个很大的xml文件(1 1Gb)。我需要对这个xml文件进行很多查询(例如,使用xpath )。结果只是xml的一小部分。我希望查询尽可能快,但是1 1Gb的文件对于工作内存来说可能太大了。
xml看起来像这样:
<all>
<record>
<id>1</id>
... lots of fields. (Very different fields per record including (sometimes) subrecords
so mapping on a relational datab