逐行抓取表？Python网络抓取

文章/答案/技术大牛

发布

1回答

python、web-scraping

我想把这张表中的所有信息都删掉。我的问题是如何逐行清理这个表？这是我的尝试，我不能抓取‘描述’部分 # Get Areas of Assessment, Description then Satisfactory table = driver.find_element_by_xpath

浏览 8提问于2020-10-03得票数 1

回答已采纳

1回答

使用Python将日常大量数据导入csv的最佳方式

python、postgresql、selenium、csv

我需要使用使用Selenium的Python网络抓取数据，因为我从中获取数据的网站会自动创建内容。由于大量的数据(行)和特定的网站，我将需要让程序每天运行(可能一个月)。我考虑在insert上将每次迭代的每一行数据都复制到PostgreSQL，当我完成抓取时，将表复制到CSV文件中。我的另一个选择是在每次迭代中逐行打开CSV文件和append。

浏览 1提问于2021-11-24得票数 0

1回答

使用BeautifulSoup在Python3中抓取页面上两个表中的第二个

python、html、web-scraping、beautifulsoup

我正在努力提高我的python技能，我只想从这个页面的中抓取“结果”表。我是网络抓取的新手，有没有人能帮我提供一个优雅的抓取结果维基的解决方案？谢谢!

浏览 1提问于2020-06-07得票数 0

1回答

用python抓取javascript驱动的“下一步”按钮的麻烦

python、selenium、web-scraping

我正在尝试抓取一个网站，以学习python和网络抓取。特别是，我试图在这个页面上抓取足球数据：我的主要问题是如何抓取主数据表的所有页面，而不仅仅是第一个页面。

浏览 2提问于2018-08-30得票数 1

1回答

使用python请求加载更多项

python、request、web-crawler

我是一个python程序员初学者，我想抓取所有的体育新闻在网站。我创建了一个python请求来加载更多的项目。我使用了chrome中的inspect元素来查看。我的python代码如下所示：import jsonsession.trust_env = False print(response.json()){'error': &#

浏览 2提问于2018-11-28得票数 0

2回答

Python - Selenium -网络抓取表

python、xslt、selenium、xpath、python-3.x

现在，在这一点之外是一个：现在，我注意到这阻止了我直接通过xpath访问表内容所以我的问题是:我如何交互或提取这个表的内容？编辑:试图访问表的xpath或其内容时抛出“noSuchElementException”，执行此操作的代码行为： eli=elem.find_element_by_xpath('//*[@id="ReportHolder

浏览 0提问于2014-01-20得票数 0

1回答

Python中的Web抓取

python、web-development、scraping

我需要学习高级python编程技能才能使用python进行web抓取吗？或者，我应该看一些关于网络抓取的教程，同时学习使用python。我对python没有任何经验，因为我是Laravel开发人员，这是我第一次在web抓取中做这样的工作。

浏览 0提问于2019-11-04得票数 -1

1回答

Python到PHP异步数据传输

php、python、asynchronous

我有一个建立一个网络刮擦工具的要求。抓取部分将在python中编码，结果将在PHP中显示。结果应该在PHP中异步显示，而python正在抓取页面。在这两种语言之间异步交换数据的首选方法是什么？谢谢!

浏览 3提问于2017-05-04得票数 1

回答已采纳

2回答

网络抓取表

python、web-scraping

我一直在拉年度收入表，而我本应该每季度拉一次。有人能解释一下我做错了什么吗？

浏览 29提问于2021-10-06得票数 0

回答已采纳

1回答

在python中浏览/解析html页面

python、html、parsing、browser、web-scraping

我正在使用Python3，到目前为止，我有Request用于简单的网页加载、自定义get和post消息，BeautifulSoup用于解析HTML树，我正在考虑尝试机械化来进行简单的网页交互。是否有某种集合的地方，所有的Python库挂起？因为我有时会发现很难找到我要找的东西。

浏览 3提问于2014-04-17得票数 1

回答已采纳

9回答

如何在Perl中获取匹配行后面的多行？

perl

我在Perl中逐行解析一个大文件(以\n结尾)，但是当我到达某个关键字时，比如" TARGET "，我需要抓取TARGET和下一个完全空的行之间的所有行。因此，给定文件的一段：第2行第4行目标第6行抓取这行它应该变成：第5行抓取这行我遇到麻烦的原因是我已经逐行检查了文件；如何在解析过程中途更改我所分隔的内容

浏览 0提问于2009-06-24得票数 11

回答已采纳

1回答

用Python实现网络抓取表

python

print("field is Null") 在运行时，我得到以下错误： Traceback (most recent call last):IndexError: list index out of range 从这一点上，我不完全确定哪里出了问题，因为我对网络抓取相当陌生

浏览 9提问于2020-03-24得票数 1

回答已采纳

1回答

Python网络抓取

python、parsing、web-scraping、lxml

from lxml import htmltree = html.fromstring(page.content)print (text) “如果我们列出所有低于10的自然数，它们是3或5的倍数，我们得到3，5，6和9，这些倍

浏览 0提问于2015-12-23得票数 0

回答已采纳

3回答

Python网络抓取

python、web-scraping、beautifulsoup

我试着用Python从网站上抓取数据。当我查看浏览器中的源代码时，我可以看到我正在寻找的所有东西。但是，当我用BeautifulSoup下载代码时，我只得到我想要的部分数据。

浏览 3提问于2016-12-02得票数 1

回答已采纳

2回答

python中的网络多线程

python、multithreading、mechanize、python-multithreading

我正在用Python编写一个脚本，它将从我的web服务器上抓取一些页面，并将它们放入一个文件中。我使用mechanize.Browser()模块来完成这个特定的任务。

浏览 0提问于2011-10-20得票数 2

1回答

如何知道你是否被屏蔽从一个网站的网页刮刮？

python、web-scraping

我在一个网站上使用了这个漂亮的汤代码：funda = "https://www.funda.nl/koop/amsterdam/"print(response) ht

浏览 6提问于2019-11-01得票数 0

回答已采纳

2回答

Python 3 web抓取选项

python-3.x、web-scraping

我是Python的新手，所以很抱歉这是一个新手问题。任何建议都将不胜感激。谢谢，威尔

浏览 1提问于2011-08-11得票数 5

3回答

如何在python中并行抓取多个html页面？

python、django、multithreading、beautifulsoup、python-multithreading

我正在用Django web框架用Python制作一个网络抓取应用程序。我需要用漂亮的汤库抓取多个查询。url) links = soup.find_all("a", {"class":"dev-link"}) 实际上，网页的抓取是按顺序进行的我对Python中的线程化不是很了解。谁能告诉我，我怎样才能并行抓取？任何帮助都将不胜感激

浏览 0提问于2017-05-29得票数 2

1回答