键入以拉取此网页上的产品的href链接。该代码提取除页面上列出的产品之外的所有href。
from bs4 import BeautifulSoup
import requests
url = "https://www.neb.com/search#t=_483FEC15-900D-4CF1-B514-1B921DD055BA&sort=%40ftitle51880%20ascending"
response = requests.get(url)
data = response.text
soup = BeautifulSoup(data, 'lxml')
tags = soup.find_all('a')
for tag in tags:
print(tag.get('href'))
发布于 2018-07-18 04:21:45
产品通过rest API动态加载,网址为:https://international.neb.com/coveo/rest/v2/?sitecoreItemUri=sitecore%3A%2F%2Fweb%2F%7BA1D9D237-B272-4C5E-A23F-EC954EB71A26%7D%3Flang%3Den%26ver%3D1&siteName=nebinternational
加载此响应将为您提供URL。
下一次,检查你的网络检查器是否有网页的任何部分不是动态加载的(或者使用selenium)。
发布于 2018-07-18 04:18:42
尝试验证产品href是否在收到的响应中。我之所以告诉您这样做,是因为如果产品的一部分是由ajax动态生成的,例如,在主页上执行简单的get操作将不会得到它们。
打印响应并验证是否以html格式接收产品
发布于 2018-07-27 05:41:36
我认为你想要这样的东西:
from bs4 import BeautifulSoup
import urllib.request
for numb in ('1', '100'):
resp = urllib.request.urlopen("https://www.neb.com/search#first=" + numb + "&t=_483FEC15-900D-4CF1-B514-1B921DD055BA&sort=%40ftitle51880%20ascending")
soup = BeautifulSoup(resp, from_encoding=resp.info().get_param('charset'))
for link in soup.find_all('a', href=True):
print(link['href'])
https://stackoverflow.com/questions/51389443
复制相似问题