抓取HTML中的链接a数据链接(不是href)
抓取HTML中的链接a数据链接（不是href）
在进行网页数据抓取时，有时候需要获取HTML中链接标签<a>的数据链接，即<a>标签的data-*属性值。这些数据链接可以包含额外的信息，用于前端开发、后端处理、或是与其他系统进行数据交互。
回答内容： 抓取HTML中的链接a数据链接可以通过以下步骤实现：
- 解析HTML：使用相关的HTML解析库，如BeautifulSoup或jsoup，将HTML代码解析成可操作的数据结构。
- 遍历链接标签：在解析后的数据结构中，通过遍历所有
<a>标签，获取每个标签的data-*属性。 - 提取数据链接：针对每个
<a>标签，提取其中的data-*属性值，即数据链接。这些属性值可能会根据业务需求有不同的命名规则，例如data-link、data-url等。 - 存储数据链接：将提取到的数据链接存储在合适的数据结构中，如数组、列表、或者其他数据容器。
- 后续处理：根据具体需求，可以进行进一步的数据处理、存储、展示等操作。例如，可以将数据链接传递给后端进行处理，或者在前端展示相关信息。
应用场景： 抓取HTML中的链接a数据链接在许多场景中都有广泛的应用，例如：
- 数据采集和分析：可以用于爬虫程序中，抓取网页中包含特定数据链接的信息，如文章、图片等。
- 前端开发：在前端开发中，可以利用这些数据链接进行动态内容的加载或者传递额外的数据给后端进行处理。
- 数据交互与整合：可以将数据链接与其他系统进行交互，实现数据的共享与整合。
腾讯云相关产品： 腾讯云提供了多个与云计算相关的产品，以下是其中几个适用的产品：
- 云爬虫服务：腾讯云提供了名为“云爬虫”的服务，可以用于定时抓取网页数据，包括链接a数据链接等，并提供了可视化编辑界面和丰富的抓取规则设置，满足不同场景的需求。产品介绍链接：云爬虫服务
- 云函数：腾讯云的“云函数”是无服务器计算产品，可以根据需求编写函数并触发执行，用于处理抓取到的链接a数据链接等。产品介绍链接：云函数
- 对象存储（COS）：腾讯云的对象存储服务可以用于存储抓取到的数据链接或者其他相关数据。产品介绍链接：对象存储
请注意，以上只是腾讯云提供的几个与该问题相关的产品，还有其他产品可根据实际需求选择使用。
相关·内容
我想从网站上抓取数据。在本网站中：
HTML：
<div>
<ul>
<li><a href="http://.../place1">Place1</a></li>
<li><a href="http://.../place2">Place2</a></li>
</ul>
</div>
在“”中：
<div>
<p>Place 1</p>
<img src=
浏览 0提问于2018-03-19得票数 0
在我的网络抓取项目中，我必须从中抓取足球比赛数据，以便从上面的url导航到比赛数据，我必须遵循url中具有散列的超引用：
<a href="#matches" data-toggle="tab">Matches</a>event
以下链接的标准抓取机制：
href = response.xpath("//a[contains(@href,'matches')]/@href").extract_first()
href = response.urljoin(href)
将生成一个不指向匹配数据的链接：
浏览 0提问于2018-10-07得票数 0
我想用HTML敏捷包从youtubelplaylist-link中抓取一个href。这段代码可以工作，但问题是它是一个表，我不知道如何分别抓取每个href。
var html = new HtmlDocument();
html.LoadHtml(new WebClient().DownloadString("https://www.youtube.com/playlist?list=PLirAqAtl_h2r5g8xGajEwdXd3x1sZh8hC"));
var root = html.DocumentNode;
浏览 3提问于2016-05-30得票数 0
1回答
我使用抓取来抓取隐私政策，从它的主页抓取一个网站，我想智能地抓取包含特定关键字的页面中的特定链接(隐私、数据、保护等)。
我看到了scrapy的CrawlSpider和对象只允许这样做，但是，我希望不仅对已发现的链接应用正则表达式，而且还要应用到<a></a>标记中的文本
例如，为了更好地查明以下情况：
<a href="http://example.com/legal">Check out our privacy policy</a>
其中，URL可能不是一个完美的匹配，但是HTML标记中的文本更有帮助。
我看到scrapy的L
浏览 0提问于2019-06-05得票数 0
回答已采纳
2回答
将直接链接更改为路由链接
、、、
从我的数据库中，我抓取了一个body列作为网站内容。
由于某些原因，有些href没有破折号就回来了(可能是逃跑了)，所以href="/my-page"以href="my-page"的身份返回，不带破折号。
我需要知道如何更改body列以查找href="<some value>"并向它们添加一个斜杠。除非它没有一个斜杠，或者它没有http:或www。前面已经有了。
有什么想法可以通过html来解析吗？
浏览 3提问于2013-07-14得票数 1
我正在尝试刮一个使用Scrapy为href链接信息的网络论坛，当我这样做时，我得到了许多字母和数字的href链接，其中的问号应该是。
这是我正在抓取的html文档的示例：
<a href="showthread.php?t=2755261" id="thread_title_2676278"></a>
我正在使用以下代码为href链接抓取html数据：
response.xpath('.//*[contains(@id, "thread_title")]/@href').extract()
当我运行这
浏览 0提问于2016-01-31得票数 0
1回答
刚刚接触python和漂亮的汤，这里我有下面的html，我需要抓取表格中的href链接以及td标记中的所有文本。
我能够抓取href：
links = browser.find_elements_by_css_selector("#lstDocTable tbody tr td:nth-child(0) a")
print([link.get_attribute("href") for link in links])
在表中的所有data(rows)上仍在苦苦挣扎。有什么想法？
单击链接将显示此弹出窗口：
浏览 4提问于2018-06-15得票数 2
我正在编写一个脚本来阅读网页，并建立一个符合一定标准的链接数据库。现在我被lxml卡住了，并且理解如何从html中抓取所有的<a href>……
result = self._openurl(self.mainurl)
content = result.read()
html = lxml.html.fromstring(content)
print lxml.html.find_rel_links(html,'href')
浏览 1提问于2011-05-26得票数 9
回答已采纳
2回答
我使用BeautifulSoup抓取了一个网站以保存为csv。当我打开csv时，只有标题和标题，没有数据(我抓取的链接)。 我已经尝试过"lxml“，所以我切换到了html.parser。 from bs4 import BeautifulSoup
import requests
import csv
page = requests.get('https://www.census.gov/programs-surveys/popest.html')
raw_html = page.text # declare the raw_html var
soup
浏览 40提问于2019-09-24得票数 0
回答已采纳
我正在学习R中的web抓取，试图在数学堆栈交换中抓取问题页，并在下面的代码帮助下：
以下代码的目的是收集所有问题的链接，然后刮除被接受的问题解决方案。然而，当我运行代码时，我得到了最后的错误：
Open.connection中的错误(x，"rb")：HTTP错误404。
library(rvest)
link <- "https://math.stackexchange.com/questions/tagged/integration"
url <- read_html(link)
page <- url %>% html_nod
浏览 3提问于2021-12-06得票数 0
1回答
我正在做python抓取，我试图获取href标签之间的所有链接，然后逐个访问，从这些链接中抓取数据。我是一个新手，不知道如何从this.The代码继续： import requests
import urllib.request
import re
from bs4 import BeautifulSoup
import csv
url = 'https://menupages.com/restaurants/ny-new-york'
url1 = 'https://menupages.com'
re
浏览 12提问于2019-09-29得票数 0
1回答
我对刮擦很陌生。我需要跟踪href从一个网址的主页到多个深度。同样，在href链接中，我有多个href。我需要跟踪这些href，直到我到达我想要的页面来抓取。我的页面的示例html是：
初始页
<div class="page-categories">
<a class="menu" href="/abc.html">
<a class="menu" href="/def.html">
</div>
内部abc.html
<div class="
浏览 4提问于2015-02-08得票数 2
回答已采纳
1回答
我正在尝试抓取产品详细信息URL并转到相应的页面。我有过 product_detail_link = product.css('.title-selling-point a::attr(href)').extract() 此代码将获得正确的链接： '//product.suning.com/0000000000/11346320883.html' 但是，因为它前面没有'http:‘，所以当我运行 yield scrapy.Request(product_detail_link, callback=self.start_scraping) ，它不能转到相
浏览 36提问于2020-07-13得票数 0
回答已采纳
我试图抓取一个网站，在那里我使用div和class来获取其中的内容。
我能够获得正确的数据，但当我将其放入循环中时会出错。
html = BeautifulSoup(response, 'html.parser')
post_list = html.find_all('div', class_='eodLhs')
print(post_list)
i = 0
for values in post_list:
url_json = {'title': values.ul.li[i].a.text, 'url
浏览 7提问于2019-10-26得票数 0
回答已采纳
下午好,
我对Webscraping还是个新手。我正在尝试从一个开源门户网站抓取数据集。只是想弄清楚怎样才能抓取网站。我正在尝试从data.toerismevlaanderen.be获取数据集这就是我想要的数据集：
我总是以http错误结束: HTTP错误404:未找到
这是我的代码：
import requests
import urllib.request
import time
from bs4 import BeautifulSoup
url = 'https://data.toerismevlaanderen.be/'
response = requests.get
浏览 0提问于2019-11-15得票数 1
7回答
Python HTML抓取
、、、、
这并不是真正的抓取，我只是试图在类具有特定值的网页中查找URL。例如：
<a class="myClass" href="/url/7df028f508c4685ddf65987a0bd6f22e">
我想要得到href的值。你有什么建议吗？也许是正则表达式？你能发布一些示例代码吗？我猜html抓取库，比如BeautifulSoup，就是为了这个有点过分了……
非常感谢！
浏览 1提问于2009-11-25得票数 3
回答已采纳
因此，我编写了一段代码，从一个面包屑中抓取当前类别的父类：
node_parent = @data.at_css(".bc a:nth-child(2)").text unless @data.at_css(".bc a:nth-child(2)").nil?
代码说:抓取倒数第二个锚链。下面是HTML的结构：
<span class="bc">
<a href="">Home</a>
<span class="d">></span>
&
浏览 1提问于2013-09-07得票数 1
1回答
你好，我刚开始使用R从互联网上抓取数据，不幸的是，我对HTML和XML知之甚少。我试图抓取以下父页面上的每个故事链接：我不关心父页面上的任何其他链接，但需要创建一个表，为网址，故事的标题列，然后为页面的完整文本(可以是几个文本段落)休息。
我尝试使用rvest包，得到了urls，但真正的问题是遍历所有文章，提取文本并将所有内容存储在一个表中。
对于谷歌新闻应用程序：
library(rvest)
url <- 'https://news.google.com/search?q=NREGA&hl=en-IN&gl=IN&ceid=IN%3Aen'
浏览 2提问于2018-06-04得票数 0
2回答
我是Python的新手，正在尝试编写一个爬行程序；我想使用Beautiful Soup从BBC新闻中抓取一些数据。
但是当我用Firebug检查元素时，我发现这个页面中的HTML没有URL链接。
<li class="">
<a class="navigation-wide-list__link navigation-arrow--open" data-panel-id="js-navigation-panel-World" href="/news/world">
<span>World
浏览 2提问于2016-05-03得票数 3
我试图通过使用ScraperWiki来学习Python和Beautiful。我想要一份埃德蒙顿所有kickstarter项目的清单。
我已经成功地抓取了我正在寻找的页面，并提取了我想要的数据。我在将数据格式化并导出到数据库时遇到了困难。
控制台输出：
Line 42 - url = link["href"]
/usr/local/lib/python2.7/dist-packages/bs4/element.py:879 -- __getitem__((self=<h2 class="bbcard_nam...more
KeyError: 'href&
浏览 0提问于2013-10-29得票数 1
回答已采纳
我已经在stackoverflow和网络上搜索过了，一定是这里漏掉了什么。我还没有找到我要找的东西。也许它叫别的什么..我有下面的代码，它将抓取第一个文件夹中的所有内容，但不会从其他文件夹中抓取其他项目。例如，它会抓取第一个/前面的所有内容，但如果你有一个站点mysite.com/ folder2 /，它就不会抓取folder2。一切都是联系在一起的。它也会向后移动。如果你把最长的链接放在网站的前面就会一直走到网站的前面。我不确定我错过了什么任何指针将是伟大的。该网站是一个joomla网站，我正试图废止。
<?php function storelink($web,$taken) {
$
浏览 0提问于2013-02-19得票数 0
1回答
我正在尝试抓取一个网站，并根据我提取的数据编辑一个电子表格。
我要抓取的网站是。
我对抓取没有太多的经验，但我的方法是在html标签中找到独特的属性，并用它来抓取我想要的东西。
所以对于这个网站，我的方法是首先抓取页面的URL列表，当你点击其中一个体验时，例如：，
其次，在这个列表中循环，每次都要抓取相关的属性。然而，我被困在了第一步，因为我遇到的不是简单的"a href“标签，而是"data-reactid”标签，这会让事情变得混乱。
我使用iMacros进行抓取，但我现在对Java语言相当在行，所以如果需要的话，我会学习用Java语言进行抓取(这似乎很有可能，因为iMacr
浏览 2提问于2015-04-30得票数 2
我正在尝试通过node.js中的木偶操纵者抓取数据 目前，我正在编写一个脚本，它可以抓取well.ca某一部分中的所有数据 现在，以下是我试图通过node.js实现的方法/逻辑 1-前往网站的医药健康部分 2-使用dom选择器通过dom选择器panel-body-content a[href]从.panel-body-content获取href数组，以抓取子部分 3-使用for循环遍历每个链接(子部分) 4对于每个子链接，通过.col-lg-5ths col-md-3 col-sm-4 col-xs-6 a[href]获取值为col-lg-5ths col-md-3 col-sm-4 col
浏览 67提问于2020-07-02得票数 3
回答已采纳
2回答
我已经写了一个代码来抓取一个网站的附件。它本质上是抓取附件的超链接。我不能想出一种方法来直接将这些附件保存在本地位置。
import requests
import pandas as pd
from requests import get
url = 'https://www.amfiindia.com/research-information/amfi-monthly'
response = get(url,verify=False)
import bs4
from bs4 import BeautifulSoup
html_soup = BeautifulSoup(re
浏览 0提问于2020-06-20得票数 0
1回答
我需要抓取商品网站的评论数据，但它的用户数据是分页的，每页的.The评论是10条，大约有100页。我怎么才能把他们都爬出来？
My intention is to use the yield and Request method to crawl the "Next Page" link, and then using the Xpath to extract data. But I can't jump to the next page to extract the data.
下面是关于“下一页”链接的Html代码：
<div class="xs-p
浏览 4提问于2014-11-06得票数 0
回答已采纳
我正在为大学做一个涉及网络抓取的项目。我试图在这个网站()中获得球员档案的所有链接。我尝试用以下代码获取链接：
library(XML)
doc_parsed<-htmlTreeParse("ranking.html",useInternal =T)
root<-xmlRoot(doc_parsed)
hrefs1 = xpathSApply(root,fun=xmlGetAttr,"href",path='//a')
"ranking.html“是保存的链接。当我运行代码时，它给了我一个6887的列表，而不是玩家profil
浏览 0提问于2015-11-03得票数 1
回答已采纳
1回答
我正在尝试使用rcurl抓取下一页的数据，但似乎不起作用。有没有办法从这个页面抓取数据？
url = "http://www.gallop.co.za/#meeting#20170305#44"
fromJSON(url)
返回时会出现错误：
Error in feed_push_parser(readBin(con, raw(), n), reset = TRUE) :
lexical error: invalid char in json text.
<!DOCTYPE html>
浏览 5提问于2017-03-13得票数 0
include('simple_html_dom.php');
function curl_set($url){
$ch = curl_init($url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
$result = curl_exec($ch);
return $result;
}
$curl_scraped_page = curl_set('http://www.belmontwine.com/site-map.html');
$htm
浏览 0提问于2015-08-13得票数 0
我想了解这个失败的原因，以及我应该在我的脚本中修改什么来解决这个问题，并能够交付所需的抓取。跟随数据：
测试站点：
我正在尝试收集这些框中的链接：
find_element_by_xpath是正确的，但是当我尝试运行脚本时，它返回错误：
selenium.common.exceptions.WebDriverException: Message: TypeError: node.ownerDocument is null
Virtual Studio代码中的我的脚本项目：
import time
import requests
import pandas as pd
from bs
浏览 1提问于2021-07-19得票数 0
我想在我的ruby项目中使用Nokogiri抓取一些html页面。在爬虫页面，有一些链接，我也想抓取。但问题是链接的href在javascript函数中。
<a href="javascript:nextPage('some text','','other text')">Click here</a>
如何使用Nokogiri加载此动态页面？
浏览 3提问于2016-02-18得票数 0
我正在尝试使用以下代码来简化我的财务数据收集。然而，它似乎有几个问题。我想从下面的页面抓取一个特定的href：'https://www.witan.com/investor-information/factsheets/#currentPage=1‘ 我尝试解析的href : href="/media/1767/witan-investment-trust_factsheet_310821.pdf“ 目前我正在使用selenium来做这件事，但是它有点慢，所以如果可以使用BS4来抓取，我会公开征求建议--到目前为止，我的尝试都失败了。 # Set options for se
浏览 21提问于2021-09-17得票数 1
回答已采纳
目前，我正试图在整个网页中获取一些文本数据。一开始，我抓取所有的网页，然后慢慢地在网页中筛选，从每一页抓取我需要的数据。例如，由于动态ID的原因，我在抓取诸如平方英尺或邻居之类的项目时遇到了困难。我通过XPath或CSS选择器看到的许多例子都涉及到搜索文本，但在我试图抓取的每一页上都会发生变化。有什么办法能捕捉到这片土地或社区吗？
from bs4 import BeautifulSoup
from selenium import webdriver as wd
from selenium.common.exceptions import StaleElementReferenceExcep
浏览 3提问于2019-02-05得票数 0
我正试图从中抓取所有事件链接。已经有相当的经验，在网络抓取使用R，但在这种情况下，我是卡住了。
我可以从第1页抓取，但是当我输入第二个页面作为URL时，我仍然从第一页获得数据，就像页面被自动重定向一样。
我试过在论坛上找到的各种密码，但还是出了点问题。
第一页
url = "https://www.tapology.com/fightcenter"
html <- paste(readLines(url), collapse="\n")
library(stringr)
matched <- str_match_all(
浏览 0提问于2019-08-21得票数 0
回答已采纳
我正在使用BS4进行网页抓取，并有以下html：
<a style="display:inline; position:relative;" href="
/aems/file/filegetrevision.do?fileEntityId=8120070&cs=LU31NT9us5P9Pvkb1BrtdwaCrEraskiCJcY6E2ucP5s.xyz">
Screenshot.docx
浏览 0提问于2013-01-07得票数 1
回答已采纳
1回答
我正在尝试从https://www.ta.com/portfolio/business-services中使用scrapy抓取数据，但是响应为空。我正在寻找抓取href在div.tiles js-portfolio-tiles中使用代码response.css("div.tiles.js-portfolio-tiles a::attr(href)").extract()我认为这与之前出现的::before有关，但可能不是。如何解压这个文件？website HTML
浏览 10提问于2020-01-17得票数 0
回答已采纳
3回答
我必须抓取一个网站，并保存为HTML的所有页面，并把它完全放在DVD上。我已经这样做了，但是现在所有的链接都以一个/开头，它抓取了我的根目录。我想将所有文件(1500页)的所有hrefs更改为href="./"，以便它始终抓取工作目录。
我已经在bash中看到了关于sed的一些东西，但是我不太理解如何动态地获取所有的href并对其进行更改。
我怎样才能以一种有效的方式做到这一点呢？
浏览 0提问于2012-07-10得票数 0
回答已采纳
3回答
我试图制作一个程序，从一个外部网站抓取所有的链接，并显示他们使用jQuery和PHP。以下是我的步骤：
使用php (load.php)获取页面的html
将html放入div中。
获取该div中的所有元素。
下面是我的代码(index.html)：
<html>
<head>
<title>Test</title>
<script type="text/javascript" src="jquery.js">//jquery</script>
&
浏览 7提问于2011-11-30得票数 0
回答已采纳
2回答
我试图从一个页面抓取两个不同的东西，如果我只抓取链接，那么我可以做一个foreach并获得链接，但我也想要代表该链接的标题。
以下是页面标记的示例
<div id="parent">
<span id="title">Title</span>
<div id="Two">
<a href="somelink">Somelink</a>
</div>
</div>
下面是获取标题和链接的示例
foreach($html->fin
浏览 0提问于2013-03-03得票数 0
1回答
我已经刮掉了一个网页，但我希望链接有有效的链接，并将跳转到该链接页面时点击。
前抓取的数据:第1天-转到我的页面-状态
我希望转到我的页面跳转到它的href中的任何链接。
例如。我得到的实际html
<td><a href="javascript:jsFormAuth('summary.php?meetingid=40456&plusday=0');">Go to my Page</a></td>
我需要这样做：
<td><a href="http://somewebsite.co
浏览 0提问于2012-08-18得票数 0
目前，我正在从HTML页面中抓取数据。我的一条代码不起作用。HTML内容有类似的内容。
<ul class="pagination">
<li>
<span class="page active">
1
</span>
</li>
<li>
<a class="page available" href="/somethingherewithanychars1"
浏览 0提问于2013-09-01得票数 0
回答已采纳
我试图做一些屏幕抓取，发现了超文本标记语言AgilityPack，但我在弄清楚如何在VB.net中使用它时遇到了一些麻烦。
如果我知道HREF中包含的文本，我要做的第一件事就是查找HREF标记的URL字符串。
第二件事是我想要做的是解析一个HTML表，遍历每一行，并提取数据，这样我就可以将其保存到数据库中(在一些基本的分析之后)。
浏览 0提问于2011-04-18得票数 1
回答已采纳
1回答
我正在尝试从<a href=>抓取url地址，但是这个站点的<href>是#none。如何抓取此url地址？我已经想出了很多，但我找不到建议。
像这样
<a href="#none" onclick="goDetail(519975);">
title
<a>
from urllib.request import urlopen
from bs4 import BeautifulSoup
import ssl
import re
ssl._create_default_https_context = ssl._c
浏览 14提问于2019-08-04得票数 1
回答已采纳
2回答
scrape.py # code to scrape the links from the html
from bs4 import BeautifulSoup
import urllib.request
data = open('scrapeFile','r')
html = data.read()
data.close()
soup = BeautifulSoup(html,features="html.parser")
# code to extract links
links = []
for div in soup.find_a
浏览 27提问于2019-01-05得票数 2
1回答
我正在写一个从社交网络上抓取照片的应用。如何确保当用户单击链接时，输出(由抓取的图片组成)显示在同一页面中？
我为它们中的每一个写了单独的php文件，它们都转到不同的页面。我想把它们放在同一页上。如何在同一页中运行php文件？
<a href="#" class="show_hide" rel="#slidingDiv">View</a>
<br />
<div id="slidingDiv">
<a href="/Gravatar/gravindex.ph
浏览 1提问于2013-04-11得票数 1
1回答
供参考，我正在刮这个网站：
这张桌子是这样的：
我试图刮这个表连同可点击的链接上的PRONI参考头。
我的代码是：
table_elements = driver.find_elements_by_xpath(".//table[@id='gvSearchResults']")
for i in table_elements:
a = pd.read_html(i.get_attribute('outerHTML'))
dfs.append(a[0])
但是数据文件看起来像：
我的下一个计划是单独抓取href，将其作为
浏览 1提问于2022-10-28得票数 1
我想从其他网站页面上抓取数据，这些页面动态加载表格的数据。我正在使用Php和简单的Html Dom进行抓取，搜索后没有找到任何解决方案，如何从网页中抓取动态数据？或者有另一种方法可以做到这一点？
我必须从这个url->中抓取表数据。
我使用下面的代码来做这件事。
$url = "https://fantasy.premierleague.com/a/leagues/standings/313/classic";
$html = file_get_html($url);
$html->find('div#ismr-classic-standings')
浏览 3提问于2016-08-23得票数 2
1回答
我有一个片段，可以在URL中成功地抓取图像，问题是，我想从不同的网站收集大量的图像，而且我不能每次都手动放置URL。
既然我刚开始刮擦，你们是怎么面对的？抓取每个URL的最佳方法是什么？我需要在CSV或什么地方有URLS吗？是自动的吗？
我的脚本
URL = 'http://www.sitasde.com'
require 'rubygems'
require 'nokogiri'
require 'open-uri'
require 'uri'
def make_absolute( hre
浏览 3提问于2014-10-03得票数 0
回答已采纳
1回答
我正在尝试创建一个功能，为一个项目刮大学棒球队名册页。我已经创建了一个函数，爬行名册页面，获得一个列表的链接，我想刮。但是当我试图为每个玩家抓取单个链接时，它可以工作，但是找不到他们页面上的数据。
这是我刚开始爬行的页面的链接：
这些只是我在我遇到问题的函数中调用的函数：
def parse_row(rows):
return [str(x.string)for x in rows.find_all('td')]
def scrape(url):
page = requests.get(url, headers = headers)
html = page.
浏览 3提问于2022-02-20得票数 0
回答已采纳
1回答
xpath无法识别标记。
、、、、
我正在尝试使用xpath从论坛中抓取编辑帖子。我想让蜘蛛实现的功能之一是，当下一页从当前页面中删除时，它将自动转到下一页。页面html代码如下所示：
<span class="next-button"><a href="https://www.reddit.com/r/InteriorDesign/?count=975&after=t3_8ol7yp" rel="nofollow next" >next ›</a></span>
我使用xpath选择器为
浏览 0提问于2018-06-18得票数 0
2回答
我正在尝试重写我的代码，以便正确地利用promises。
完整的程序应该是从T恤网站上抓取数据。这第一段代码应该进入网站的首页，抓取立即可用的产品页面，然后将URL存储在一个数组中。余数网址将存储在“余数”中，以便稍后执行secondScrape。
目前手动单元测试每个部分：
//TASK: Create a command line application that goes to an ecommerce site to get the latest prices.
//Save the scraped data in a spreadsheet (CSV format).
浏览 8提问于2016-09-24得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
云直播活动推荐
腾讯云开发者
