使用python拉取href标记
使用python拉取href标记
提问于 2018-07-18 04:09:27
键入以拉取此网页上的产品的href链接。该代码提取除页面上列出的产品之外的所有href。
from bs4 import BeautifulSoup
import requests
url = "https://www.neb.com/search#t=_483FEC15-900D-4CF1-B514-1B921DD055BA&sort=%40ftitle51880%20ascending"
response = requests.get(url)
data = response.text
soup = BeautifulSoup(data, 'lxml')
tags = soup.find_all('a')
for tag in tags:
print(tag.get('href'))回答 3
Stack Overflow用户
发布于 2018-07-18 04:21:45
产品通过rest API动态加载，网址为：https://international.neb.com/coveo/rest/v2/?sitecoreItemUri=sitecore%3A%2F%2Fweb%2F%7BA1D9D237-B272-4C5E-A23F-EC954EB71A26%7D%3Flang%3Den%26ver%3D1&siteName=nebinternational
加载此响应将为您提供URL。
下一次，检查你的网络检查器是否有网页的任何部分不是动态加载的(或者使用selenium)。
Stack Overflow用户
发布于 2018-07-18 04:18:42
尝试验证产品href是否在收到的响应中。我之所以告诉您这样做，是因为如果产品的一部分是由ajax动态生成的，例如，在主页上执行简单的get操作将不会得到它们。
打印响应并验证是否以html格式接收产品
Stack Overflow用户
发布于 2018-07-27 05:41:36
我认为你想要这样的东西：
from bs4 import BeautifulSoup
import urllib.request
for numb in ('1', '100'):
resp = urllib.request.urlopen("https://www.neb.com/search#first=" + numb + "&t=_483FEC15-900D-4CF1-B514-1B921DD055BA&sort=%40ftitle51880%20ascending")
soup = BeautifulSoup(resp, from_encoding=resp.info().get_param('charset'))
for link in soup.find_all('a', href=True):
print(link['href'])页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/51389443
复制相关文章
相似问题