用Python实现网络抓取表

文章/答案/技术大牛

发布

1回答

python

print("field is Null") 在运行时，我得到以下错误： Traceback (most recent call last):IndexError: list index out of range 从这一点上，我不完全确定哪里出了问题，因为我对网络抓取相当陌生

浏览 9提问于2020-03-24得票数 1

回答已采纳

1回答

我正在读一个旧的哈佛CS 109课程，无法从数据库中250部投票最多的电影中获得评分。我想我的问题是，有两个td.ratingColumn，一个有评分，另一个--就在后面--要求你给电影打分。第二个td.ratingColumn不包含</strong>。这会让我犯错误吗？如何调整代码以获得所有评级? 9.2是1/250。谢谢。 rating = runtime.by_tag('strong')[0].

浏览 1提问于2014-09-01得票数 0

回答已采纳

1回答

竞争对手价格跟踪工具，自动跟踪100000产品的价格？

python、automation、scraping

我需要建立一个竞争对手的价格跟踪工具，从大约15个竞争者100,000产品？最好的办法是什么？请推荐一下？

浏览 0提问于2019-05-23得票数 0

1回答

用Python实现Web抓取表

python、dataframe、web-scraping、data-science

我需要从上刮表标头所有条目行都应包括

浏览 4提问于2021-01-15得票数 1

4回答

用Python实现表Web抓取问题

python、html、web-scraping、beautifulsoup

我有问题从这个网站抓取数据：我对python相对陌生，对web抓取完全陌生。我可以传递'a‘作为一个参数，并获得该网站的链接罚款，但一直无法从表中获得任何数据。我的理解是传递'tr‘将在网站中找到任何表格的所有行。你知道我哪里出错了吗？谢谢你的帮忙

浏览 1提问于2020-06-22得票数 1

回答已采纳

1回答

有没有任何快速的方法来刮一个有无限滚动的网站？

python、web-scraping

我正在尝试使用python来抓取一个用无限滚动实现的网站。实际上，网络就是pinterest。我知道如何使用selenium来抓取具有无限滚动的web。但是，WebDriver基本上模仿了访问web的过程，而且速度慢得多，比使用BeautifulSoup和urllib进行抓取要慢很多。你知道有什么时间有效的方法来刮一个无限滚动的网页吗？谢谢。

浏览 0提问于2014-12-29得票数 0

回答已采纳

1回答

逐行抓取表？Python网络抓取

python、web-scraping

我想把这张表中的所有信息都删掉。我的问题是如何逐行清理这个表？这是我的尝试，我不能抓取‘描述’部分 # Get Areas of Assessment, Description then Satisfactory table = driver.find_element_by_xpath

浏览 8提问于2020-10-03得票数 1

回答已采纳

1回答

如何在网站中搜索一些特定的链接(可能存在于pdf文件中)并爬行这些链接以获取其他信息？

python、parsing、web-crawler

我需要做一个网络爬虫类的应用程序。我需要做的是将一个url传递给我的应用程序。此url是政府机构的网站。这个网址也有一些链接到这个政府机构批准的其他个别机构。为此，我必须使用python。我不知道如何处理这个问题。我在这上面花了很多时间使用BeautifulSoup，但这需要大量的解析。其他选项是scrapy或twill。老实说，我是python的新手。

浏览 0提问于2014-01-15得票数 0

2回答

用Python进行网络抓取: NoneType错误，无法抓取表的数据

python-2.7、web-scraping、nonetype

我正在尝试通过练习以下链接来学习网络抓取：import csvfrom BeautifulSoup import不确定它在查询中是否有帮助，但这是我尝试过的一个列表：

浏览 2提问于2016-07-09得票数 0

2回答

如何通过编程将GI号直接映射到HGNC基因名？

python、bioinformatics、bioservices

我最熟悉Python和Perl，尽管我可以使用R和Java，最后也可以使用其他任何东西(Ruby、MATLAB、Tcl等)。不幸的是，我没有找到任何“官方”服务，以编程方式将GI号码直接映射到HGNC/HUGO基因名。我能想到的最好是2跳映射:使用eutils

浏览 4提问于2013-08-12得票数 0

2回答

Python - Selenium -网络抓取表

python、xslt、selenium、xpath、python-3.x

现在，在这一点之外是一个：现在，我注意到这阻止了我直接通过xpath访问表内容所以我的问题是:我如何交互或提取这个表的内容？编辑:试图访问表的xpath或其内容时抛出“noSuchElementException”，执行此操作的代码行为： eli=elem.find_element_by_xpath('//*[@id="ReportHolder

浏览 0提问于2014-01-20得票数 0

1回答

使用BeautifulSoup在Python3中抓取页面上两个表中的第二个

python、html、web-scraping、beautifulsoup

我正在努力提高我的python技能，我只想从这个页面的中抓取“结果”表。我是网络抓取的新手，有没有人能帮我提供一个优雅的抓取结果维基的解决方案？谢谢!

浏览 1提问于2020-06-07得票数 0

1回答

用动态表进行网络抓取

xml、json、r、rvest

我想做两件事：保存到最佳交易的http地址的链接(每个类别的价格)。我遇到的问题是，我只能看到15个观察，但表可能要大得多。我想我可以用它来帮助返回一个更大的表，但我不知道该如何做。

浏览 3提问于2015-02-15得票数 0

回答已采纳

1回答

用BeautifulSoup实现网络抓取(图刮)

python、html、web-scraping、beautifulsoup

我想刮一下下面的网页。我想得到任何特定日期的页面图。我不知道该写哪一门课。我正在使用下面的代码，但获取空字符串。import requestsr= requests.get('https://stadt-aachen.e2watch.de/details/objekt/175')soup.find_all('div',{'class':'highcharts-

浏览 3提问于2020-03-08得票数 1

1回答

用python抓取表

python、html-table、beautifulsoup、screen-scraping

试图从开放访问的学术文章中抓取表格，出于某些原因，我无法从本文中抓取这些表，这就是我所做的，但由此产生的ResultSet“表”是一个空列表。谢谢你的帮助。

浏览 4提问于2017-08-26得票数 0

2回答

用BeautifulSoup实现Python抓取

python、web-scraping、beautifulsoup

我是新刮和我被困在刮一个网页，其中包含一些引号，我想提取。 import requestsimport csv r = requests.get(URL) table

浏览 2提问于2020-03-22得票数 1

回答已采纳

1回答

C#中的多个Regex匹配

c#、python、regex

我已经习惯了用Python进行网络抓取，但现在我尝试在C#中做同样的事情，这似乎有点不同。我想要做的简单事情是用这个regex在python中完成：这是如何在C#中完成的？

浏览 1提问于2013-11-13得票数 0

回答已采纳

3回答

用Python抓取表

python、pandas、web-scraping、beautifulsoup、datatables

我正在学习Python，而且我没有太多的经验。我需要从一个网站刮表，但我写的代码不起作用。> 1:然后我得到了一个错误： /Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/site-packages/ipyk

浏览 4提问于2020-02-05得票数 0

回答已采纳

2回答

用python -selenium进行网络抓取

python、selenium、web-scraping、beautifulsoup

我想从类"news“中抓取所有的href内容(代码中提到了Url)，我尝试了这段代码，但是它不起作用.

浏览 0提问于2018-02-10得票数 2

回答已采纳

1回答

用BeautifulSoup python进行网络抓取

python、web-scraping、beautifulsoup

我试图刮产品的在线商店，但我有一个问题，只有一个产品，我可以刮！，但我想刮刮的所有产品。from bs4 import BeautifulSoupsoup = BeautifulSoup(res.text, 'html.parser') result = soup.find_all('div', class_='c-product-box__co

浏览 1提问于2020-05-27得票数 0

回答已采纳

点击加载更多