提高BeautifulSoup解析速度

文章/答案/技术大牛

发布

1回答

html、python-3.x、beautifulsoup

有没有办法更快地解析数据，或者让代码运行得更快呢？我已经将解析器更改为lxml，但没有注意到有多大改进。我想要实现的是，当添加条目时，BeautifulSoup只会从这一点开始搜索，但我不知道该怎么做 def stew(fp): soup = BeautifulSoup(f, features="lxml") def name_crawler(soup

浏览 31提问于2019-09-10得票数 2

回答已采纳

1回答

如何使用wget下载html/text，而不使用图片、css等

python、parsing、wget

为了进行研究和培训，我决定使用wget函数来提高解析任何页面的速度。在此之前，我使用了BeautifulSoup、BeautifulSoup(' lxml ')、纯lxml、selectolax.parser以及urllib和请求，所有这些步骤都使加快解析器的数据检索速度成为可能，但我找到了一种更快的解析大型数据的方法，这就是WGET，但问题是我正在下载一个包含所有内容的页面，它是完全独立的，而且我只想下载html，因为100,00

浏览 9提问于2022-08-04得票数 0

1回答

Web同时抓取请求

python-3.x、web-scraping、beautifulsoup

from urllib import requestfrom bs4 import BeautifulSoup as bs soup = (page,"lxml") 现在这个过程非常慢，因为它使一个请求解析数据，通过指定的步骤，然后我们返回到发出请求。我是否应该将URL的全部源代码存储在一个文件中，然后执行必要的操作(解析、查找我们需要的数据)-？

浏览 4提问于2017-03-08得票数 1

回答已采纳

3回答

如何消除BeautifulSoup用户警告？

python、beautifulsoup

安装BeautifulSoup后，每当我在命令行中运行Python时，就会发出以下警告： BeautifulSoup([your

浏览 4提问于2015-11-04得票数 67

回答已采纳

2回答

美汤和Scrapy一起使用能提高性能吗？

python、beautifulsoup、scrapy

我已经看到很多人都在使用漂亮的Soup进行解析。我只是想知道在速度，效率或更多的slectrors等方面有什么优势，帮助我创建蜘蛛和爬虫或scrapy对我来说应该足够了。

浏览 0提问于2012-11-23得票数 0

回答已采纳

3回答

提高BeautifulSoup性能

python、web-crawler、beautifulsoup、mechanize、delicious-api

因此，我有以下一组解析美味信息的代码。它以以下格式打印美味页面中的数据书签|人数等... page = br.open(url)soup = BeautifulSoup(html)但问题是有些书签没有很多人，所以我决定对它进行不同的解析，这样我就

浏览 7提问于2010-12-19得票数 1

回答已采纳

1回答

BeautifulSoup:如何忽略虚假的结束标记

python、html、python-3.x、beautifulsoup

我读过很多关于BeautifulSoup的好东西，这就是为什么我现在正试图用它来刮一组格式错误的HTML的网站。不幸的是，BeautifulSoup的一个特性就是目前的展示障碍：当BeautifulSoup遇到一个从未打开的结束标记(在我的例子中是</p>)时，它决定结束文档。我是否可以将BeautifulSoup配置为忽略不匹配的结束标记，而不是在遇到文档时关闭它们？

浏览 1提问于2015-12-19得票数 7

回答已采纳

1回答

提高fastq解析速度

performance、perl、parsing、fastq

@相同代码的已解算C#快一倍我正在用phred33解析perl文件，这需要相当多的时间(大约15分钟)。fastq文件大约为3 is。有什么合理的方法可以让这一切变得更快吗？

浏览 0提问于2012-04-25得票数 1

回答已采纳

2回答

将lxml设置为默认的BeautifulSoup解析器

python、html、beautifulsoup、html-parsing、lxml

我正在做一个网络抓取项目，在速度上遇到了问题。为了解决这个问题，我想使用lxml而不是html.parser作为BeautifulSoup的解析器。我能够做到这一点：但我不想每次调用BeautifulSoup时都重复输入'lxml'。有没有一种方法可以让我在程序开始时只使用一次解析器？

浏览 1提问于2015-01-06得票数 22

回答已采纳

1回答

如何使用python抓取多页网站并将数据导出到.csv文件中？

python、csv、beautifulsoup

我的脚本如下import requestsi = 0 urlsearch=&&&page=" + str(i)) i=+1 soup = BeautifulSoup(

浏览 2提问于2016-07-24得票数 0

2回答

使用find时BeautifulSoup挂起

python、html、parsing、beautifulsoup、html-parsing

</head><body><img src="image.jpg">"""from bs4 import BeautifulSoupsoup = BeautifulSoup(data, 'html5lib')当我运行

浏览 0提问于2016-03-18得票数 3

1回答

美丽的汤用页面源的片段创建汤

python、selenium、web-scraping、beautifulsoup

通常，每当我使用Beautifulsoup提取数据时很简单。工作完成了。这是可行的，但速度很慢。事实上，即使用page_source创建汤也很慢。我试过变体但没有成功。

浏览 2提问于2016-04-08得票数 2

回答已采纳

3回答

如何用NSURLconnection解析部分xml？

iphone、objective-c、xml-parsing、nsurlconnection

我使用NSURLConnection加载数据并使用nsxmlparser进行解析。目前，我让整个数据加载，然后解析它，但是为了提高速度，我想知道如何解析在didReceiveData委托方法中接收到的数据部分。如果我只是在这个方法中移动我的解析函数，我会得到错误，因为当它分解成不同的部分时，它没有正确的XML格式或... 如果有人能帮助我提高速度，我将不胜感激。

浏览 0提问于2011-11-28得票数 1

2回答

Python2.7-漂亮的Soup抓取find_all命令不起作用

python-2.7、beautifulsoup

import requestsr = requests.get= 200: exit() soup = BeautifulSoup(sourcecode,

浏览 2提问于2017-01-17得票数 1

回答已采纳

1回答

解析Selenium WebElement库？

python、selenium

如果我只做了一个请求来获取第一个元素的DOM树，然后解析HTML以获得元素的文本，那么我可以跳过所有这些api请求。是否有用于此目的的库。类似这样的事情吗？

浏览 29提问于2021-05-01得票数 0

2回答

Xpath vs DOM vs BeautifulSoup vs lxml vs其他解析网页最快的方法是什么？

python、dom、xpath、html-parsing、lxml

我知道如何使用Python解析页面。我的问题是，在所有解析技术中，哪种方法是最快的，其他方法的速度有多快？我所知道的解析技术有Xpath、DOM、BeautifulSoup和使用Python的find方法。

浏览 0提问于2011-12-01得票数 6

回答已采纳

3回答

一个快速的python HTML解析器

python、html、xml、beautifulsoup

我需要解析它们并从中提取一些信息。我试过使用BeautifulSoup，它简单直观，但运行起来似乎超级慢。因为这是必须在弱机器(在amazon上)上例行运行的东西，所以速度很重要。在python中有没有比BeautifulSoup快得多的HTML/XML解析器？或者我必须求助于正则表达式解析..

浏览 0提问于2012-03-13得票数 14

回答已采纳

1回答

'BeautifulSoup‘和'lxml’之间有什么关系？

python、beautifulsoup、html-parsing、lxml

在“lxml's ”中，它写道：美丽的Soup支持Python标准库中包含的HTML解析器

浏览 2提问于2015-08-25得票数 3

回答已采纳

1回答

漂亮汤删除标签错误

python、html、regex、beautifulsoup

因此，我正在抓取一些内容，并试图用python中的漂亮汤删除html标记，但保留内容。例如，考虑到：我想要输出：通常，我会使用get_text方法。问题是，很明显，我正在抓取的一些页面中有html错误。例如：当发生这种情况时，get_text()将删除我想要的大部分文本。我试着用regex来做这件事，结果还

浏览 3提问于2015-03-12得票数 0

回答已采纳

1回答