2回答
Python BeautifulSoup -抓取多个页面并将结果导出到CVS
python、csv、web-scraping、beautifulsoup
我想在不同的页面中抓取一些信息。下面的代码可以帮助我使用print()函数抓取信息。 问题是我只能从最后一页获得数据。上一页的结果不能写入CSV文件。我该怎么办？谢谢。代码： enter code herefrom csv import writer requests.get(ur
浏览 24提问于2021-10-09得票数 1
回答已采纳
1回答
使用Python和BeautifulSoup抓取多个页面-网站url不起作用
python、html、web-scraping、page-numbering
我的python代码成功地从https://www.groupeactual.eu/offre-emploi中抓取文本并将其保存到csv文件中。然而，在上面的网站上有多个页面可用，我希望能够在其中刮。例如，使用上面的url，当我单击指向"page 2“的链接时，整个url会发生变化，但当我在代码中使用该url时，我会得到来自page 1的结果。 如何更改我的代码以从所有列出的可用页面中抓取数据？我的代码： fro
浏览 16提问于2020-07-17得票数 1
1回答
我有一个用于抓取的python脚本--一些URL。URL位于txt文件中的列表中。python脚本(只有相关部分)如下：from bs4 import BeautifulSoupprint urlprint descriptionprint director
我想对一个txt文件中的<em
浏览 0提问于2019-03-28得票数 1
2回答
我有一个简单的python脚本，从html页面抓取一些数据，并将结果写出到一个csv文件。如何在Windows下自动执行抓取，即每五分钟启动一次。
谢谢彼得
浏览 0提问于2015-01-29得票数 3
回答已采纳
5回答
如何使用Python将数据输入到网页以抓取结果输出？
python、scrape
我熟悉从网页抓取数据的BeautifulSoup和urllib2。但是，如果在返回我想要抓取的结果之前需要在页面中输入一个参数，该怎么办？我正在尝试使用这个网站获取两个地址之间的地理距离：
我希望能够转到页面，输入两个地址，单击“显示”，然后提取“按乌鸦飞的距离”和“按陆路运输的距离”值，并将它们保存到字典中。有没有办法用Python把数据输入到网页中？
浏览 2提问于2011-08-13得票数 8
回答已采纳
1回答
通过多个read_html链接创建数据循环
python、pandas、dataframe
我对python很陌生，我正在尝试从一个网站的多个页面中抓取一张表。import pandas as pdfrom bs4 import BeautifulSoup
from tabulate import tabulat
浏览 0提问于2019-01-06得票数 0
回答已采纳
2回答
尝试使用Python将解析的数据导出到CSV文件，但我不知道如何导出多行
python、pandas、beautifulsoup、export-to-csv
我对漂亮的soup/Python/Web Scraping还不熟悉，我已经能够从站点中抓取数据，但我只能将第一行导出为csv文件(我想将所有抓取的数据导出到该文件中)。我对如何让这段代码将所有抓取的数据导出到多个单独的行中感到困惑：
r = requests.get("https://www.infoplease.com/primary-sources/government/presiden
浏览 13提问于2021-02-23得票数 0
回答已采纳
2回答
如何使用chrome的webdriver点击节点/角度脚本生成的‘下一页’按钮？
python、beautifulsoup、webdriver
我试图从一个网站上抓取数据，这个网站返回了跨越多个页面的搜索条件的结果……使用硒，Python上的精美汤。第一页很容易阅读。移动到下一页需要点击'>‘按钮。lat=dfdfd ")soup = BeautifulSoup(page, 'html.parser')#now need to click on the ">&
浏览 24提问于2019-05-25得票数 1
回答已采纳
2回答
从多个页面中抓取天气数据
python、pandas、web-scraping、beautifulsoup
我是python的新手下面是我最初尝试使用Beautifulsoup读取页面的代码，但每个月有多个页面，我不确定如何从2009年1月到2018年10月循环urls并将</e
浏览 9提问于2019-11-27得票数 0
2回答
在Pandas中发布web抓取数据和创建数据框(可能是一个简单的答案)
python、pandas、dataframe、web-scraping
我正在从web上抓取pubmed.gov摘要，虽然我可以获得所需的数据并将其打印出来，但我不能将其导出为Python Pandas导出。由于某些原因，当我将其导出到Excel文件时，我只能得到第一个结果。感谢大家的帮助！所以我的问题是，为什么我只得到了第一个URL和摘要，我该如何调整我的代码来获得它们？我的代码如下所示： from bs4 import BeautifulSoup import requests
浏览 17提问于2019-05-19得票数 0
回答已采纳
4回答
用web抓取来填写(和检索)搜索表单？
forms、search、screen-scraping、doi
我想知道是否有可能“自动化”输入条目以搜索表单并从结果中提取匹配的任务。例如，我有一个想要获取DOI(数字对象标识符)的期刊论文列表；为此，我将手动转到期刊文章搜索页面(例如，)，键入作者/标题/卷(等)。然后从返回的结果列表中找到文章，选择DOI并将其粘贴到我的参考列表中。我经常使用R和Python进行数据分析(我的灵感来自于RCurl上的一篇文章)，但对web协议了解不多……这样的事情是可能的吗(比如使用Python的BeautifulSoup?
浏览 1提问于2009-07-23得票数 8
回答已采纳
2回答
BeautifulSoup -抓取多个页面，但以前的页面数据未存储在列表中
python、pandas、dataframe、beautifulsoup、append
BeautifulSoup -抓取多个页面，但以前的页面数据未存储在列表中。 我是一个初学者，对此我已经挠头一段时间了。我正在尝试抓取5个页面，并将所有数据存储在一个数据框中，然后将其保存为cvs。#importing libraries
import requestsimport timepage='
浏览 18提问于2020-06-29得票数 1
回答已采纳
1回答
如何使用漂亮的SOUT4、python和selenium来循环页面？
python、selenium、selenium-webdriver、web-scraping、beautifulsoup
我正在尝试抓取一个网站("http://cbseaff.nic.in/cbse_aff/schdir_Report/userview.aspx“)，以获得所有的联系编号。问题是它们在多个页面上(1上有20个结果，总数: 21,000+结果) 因此，我希望在某种循环中刮掉它们，它可以迭代到下一个页面btn，web页面的URL中的问题不会改变，因此没有模式。接下来，我尝试了python，并开始阅读
浏览 8提问于2019-06-24得票数 0
1回答
如何用python将多页数据导出到Excel/CSV？
python、excel、pandas、csv、web-scraping
目前，我已经对数据进行了new抓取并将其打印出来，但现在我希望将其导出到excel/csvi。我是python的新手，需要帮助我已经抓取了多个页面，现在我需要将它们导出到csv/excel。InsecureRequestWarningfrom bs4 import BeautifulSoup
浏览 0提问于2020-09-10得票数 0
1回答
Web抓取-如何提取URL中的链接类型？
python、web-scraping
我有一个URL列表，我必须从每个URL中提取链接，并为每个链接提取该链接的类型(表单，跟踪码，同一网站上的另一个页面，外部网站等)。
我的问题是:您认为这在Python库中可行吗？
浏览 47提问于2019-06-20得票数 0
1回答
TypeError：'ResultSet‘对象不可调用-带有BeautifulSoup的Python
python、html、beautifulsoup
这里是python的新手，当尝试设置一些代码从网页列表中抓取数据时，会不断地遇到错误。其中一个页面的链接是- 和我试图获取‘会员编号’，‘类别’，‘部门’，‘国家’等信息，并将其全部导出到一个电子表格。代码：from urllib.request import urlopen
pages =我试着查看堆栈溢出上的其他页面，但似乎没有出现类似于上面的错误。
浏览 0提问于2018-03-02得票数 0
回答已采纳
2回答
用于从多个页面中抓取表格的函数
python、function、web-scraping-language
我正在学习Python，我正在尝试创建一个函数，用于从几个不同的网页上获取疫苗接种率的网络刮刮表--一个github存储库，用于我们的Data 和中的世界。当web抓取单个表并将其保存到数据框中时，代码可以完美地工作。csv-data js-file-line-container")BD_df = df[0]
但是，当我尝试创建一个抓取多个页面的函数时我一直在关注这个网站上的教程，在
浏览 21提问于2021-05-28得票数 0
1回答
如果BeautifulSoup无法到达一个站点，如何跳到下一个链接？
python、exception、beautifulsoup
我目前正在编写一个Python项目，它需要执行以下操作：-the脚本从这些站点抓取信息，并将输出写入.txt文件中。我将收到以下错误消息：我试图找到一种方法来跳过下一个链接或构建一个异常，并将' exception‘输出到文本文件中。以下是我目前为脚本编写的代码：
from time
浏览 3提问于2022-07-18得票数 0
回答已采纳
3回答
通过Selenium Python下载整个网页(html、image、JS)
javascript、python、html、selenium、web-scraping
我已经尝试过selenium的driver.page_source功能，但是它不能下载完整的页面，比如图片和javascript文件。有没有更好更简单的python解决方案？
浏览 0提问于2017-08-21得票数 3
1回答
抓取具有特定字符串的近似URL的多个网站
python、beautifulsoup、python-requests
我试图抓取多个网站，并导出到一个.csv或理想的.xslx文件的信息。到目前为止，我已经完成了使用以下代码抓取一个具有多个条目的站点： import requestsdoc = BeautifulSoup(r.text,
浏览 13提问于2020-08-14得票数 0
云服务器
ICP备案
对象存储
即时通信 IM
云直播
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号