使用python对多个Web页面进行web抓取

文章/答案/技术大牛

发布

1回答

python、html、web-scraping

但是，当我把它放到一个json文件中时，我可以看到我收到了90行-然而，其中有多个重复项，并且许多职位空缺甚至没有显示在文件中。这是我使用的代码： import requestsimport json for i in range(1,7)

浏览 25提问于2021-11-03得票数 1

1回答

使用python对多个标记进行Web抓取

python、web-scraping、beautifulsoup

嗨，我和python一起做网络抓取。jk=78fc5cc6a9d2aaa3&q=developer&l=Hammond,+LA&tk=1g3udv32opki1801&from=web&advn=2300444857198541&adidjob_desc = jobs.find('p').text.replace('', '')在上

浏览 3提问于2022-05-25得票数 -2

回答已采纳

2回答

使用Python抓取多个Web页面

python、web-scraping、beautifulsoup

我想从多个网站抓取类似的网址，如，和。 print("mobile: " + mobile) 有没有一种方法可以让我简单地列出url的不同部分(woollahra，唐人街，邦迪比奇)，这样脚本就会使用我已经写好的代码循环遍历每个网页

浏览 17提问于2017-08-04得票数 0

回答已采纳

1回答

使用python从同一网页中的多个链接中提取数据

python、web-scraping、beautifulsoup、python-requests

我是蟒蛇和网络抓取的新手。我试图从这个链接中提取关于临床诊断测试的测试成分的信息。单击每个名称将带您到另一个页面，其中包含有关单个测试组件的详细信息。我想从这一页中提取出有共同问题的部分。

浏览 1提问于2018-01-19得票数 0

1回答

Python中的Web抓取

python、web-development、scraping

我需要学习高级python编程技能才能使用python进行web抓取吗？或者，我应该看一些关于网络抓取的教程，同时学习使用python。我对python没有任何经验，因为我是Laravel开发人员，这是我第一次在web抓取中做这样的工作。

浏览 0提问于2019-11-04得票数 -1

1回答

使用Beautifulsoup对多个页面中的表格进行Web抓取

python、python-3.x、web-scraping、beautifulsoup

我试图从不同星期的多个页面中抓取一个表，但是我不断地从这个url 中获得结果，下面是我使用的代码：from requests import get from bs4 import

浏览 0提问于2021-03-06得票数 0

1回答

Python到PHP异步数据传输

php、python、asynchronous

抓取部分将在python中编码，结果将在PHP中显示。结果应该在PHP中异步显示，而python正在抓取页面。在这两种语言之间异步交换数据的首选方法是什么？谢谢!

浏览 3提问于2017-05-04得票数 1

回答已采纳

1回答

使用Python进行Web抓取-在多个web页面中循环处理问题

python、web-scraping、beautifulsoup

我试图循环通过多个房地产代理网站，抓取代理商的名字和移动号码。

浏览 0提问于2017-08-07得票数 0

回答已采纳

2回答

python中的网络多线程

python、multithreading、mechanize、python-multithreading

我正在用Python编写一个脚本，它将从我的web服务器上抓取一些页面，并将它们放入一个文件中。我使用mechanize.Browser()模块来完成这个特定的任务。有没有一种方法可以相对轻松地使用多线程/多处理(即同时发出几个GET请求)？

浏览 0提问于2011-10-20得票数 2

2回答

在使用python进行web抓取分页时遍历多个页面

python、web-scraping、beautifulsoup、pagination

我正在尝试从通常包含多个页面的网页中提取特定数据。虽然我能够在第一页打印出我需要的所有信息，但我不能在其他页面上这样做。我在互联网上搜索解决方案，发现大多数解决方案都是通过连接一个链接页面和一个数字来遍历每个页面的。然而，我在一个网站上工作，在这个网站上，当你导航到不同的页面时，链接页面不会改变。因此，我很难确定是哪个属性导致URL重定向到第二个页面，因为没有显示可点击的链接。iZEpOT"}) for n, i in enumerate

浏览 37提问于2021-07-03得票数 0

回答已采纳

1回答

使用Python对隐藏表进行Web抓取

python、web-scraping、beautifulsoup

我正在试着从这个网站的中抓取“特征”表(实际上，网址可以根据我的需要而改变，但结构将是相同的)。问题是，我在web抓取方面的知识非常有限，而且到目前为止，我还不能使用我在这里看到的基本BeautifulSoup工作流程来获得这个表。但是当我点击链接进行复制时，我得到的却是"javascript:void(0)“。我没有学习过javascript，我应该学习吗？

浏览 11提问于2020-05-16得票数 0

回答已采纳

3回答

使用python对动态内容进行web抓取

python、web-scraping、screen-scraping

我想使用Python来抓取网页上“你在寻找这些作者吗：”框中的内容：不幸的是，JavaScript会动态加载盒子中的内容。通常在这种情况下，我可以阅读Javascript来弄清楚发生了什么，或者我可以使用Firebug之类的浏览器扩展来弄清楚动态内容来自哪里。

浏览 0提问于2013-07-12得票数 6

回答已采纳

1回答

如何使用Python对图表进行web抓取？

python、pandas、web-scraping、beautifulsoup、screen-scraping

我正在尝试使用Python3将这个网站上的图表从web上抓取到一个.csv文件中：Tuesday, October 25Wednesday, October 2610:30 PM Rockets/Lakers ESPN 我正在使用这些包注意多个日期是如何被多次使用<

浏览 13提问于2020-05-22得票数 1

回答已采纳

3回答

使用Python对HTML列表进行Web抓取

python、html、beautifulsoup

我正在尝试在python中抓取一个html列表以返回列表链接。

浏览 0提问于2020-07-15得票数 0

3回答

使用python对google新闻进行web抓取

python、web-scraping、google-news

我正在为不同的新闻媒体创建一个网络抓取器，对于纽约时报和卫报来说，这很容易，因为他们有自己的API。现在，我想从这份报纸GulfTimes.com中摘取一些结果。这在Google News UI中是可行的，只需将源设置为“by”，相应的查询和日期，并简单地手动计算结果的数量，但当我尝试使用python执行此操作时，我得到一个403错误，这是可以理解的。

浏览 1提问于2013-03-21得票数 17

回答已采纳

2回答

使用Bash脚本在python库上进行web抓取？

python、bash、curl、sed、web-scraping

我正在尝试从有经验的人那里获取更多的信息，一般来说，我正在使用Python库进行web抓取。与此同时，我注意到一些人正在使用simple Bash，并使用wget, curl, sed, grep, awk等命令进行web抓取。与使用Python库进行web抓取相比，这些命令在脚本编写方面似乎要干净得多。你对此有什么看法？您认

浏览 1提问于2017-03-03得票数 0

1回答

使用python对嵌套表进行Web抓取

python、web-scraping、beautifulsoup

使用我的代码，我可以获得所有的值，甚至更多，但每个值“拥有”一行，而我希望将值放在与网站表相同的行中。

浏览 9提问于2020-05-21得票数 0

回答已采纳

3回答

Web抓取:用Python抓取多个Web

python、web-scraping、beautifulsoup

BeautifulSoup(page.content, 'lxml') print(paragraph.text) 我想从中抓取排名、审查和审查日期，但是，我不知道如何从多个页面中抓取，并为抓取结果制作一个熊猫DataFrame。

浏览 1提问于2019-01-13得票数 3

回答已采纳

2回答

解析特定网站数据并将其存储在db表中

asp.net、parsing、web

我想解析来自需要user/pass的站点的表行(当前名称为eg.test)，并将其存储在数据库表中。这可以在asp.net (或asp.net mvc4)中完成吗？谢谢，

浏览 0提问于2012-05-31得票数 1

3回答

如何在python中并行抓取多个html页面？

python、django、multithreading、beautifulsoup、python-multithreading

我正在用Django web框架用Python制作一个网络抓取应用程序。我需要用漂亮的汤库抓取多个查询。url) links = soup.find_all("a", {"class":"dev-link"}) 实际上，网页的抓取是按顺序进行的我对Python中的线程化不是很了解。谁能告诉我，我怎

浏览 0提问于2017-05-29得票数 2

点击加载更多