腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(6651)
视频
沙龙
2
回答
使用
BeautifulSoup
从
亚马逊
抓取
整个
类
别的
产品
、
、
我已经为
亚马逊
编写了一个函数,给出了一个URL,它为我提供了
产品
的标题、价格和评级。如果我给它一个字符串格式的URL,效果会很好。我想
使用
这个功能,比如说它叫做AmazonCrawler,以便
从
网站上
抓取
一个完整的
产品
类别,而不仅仅是一个
产品
。我该怎么做呢?编辑: 这里有一个我想要
抓取
的示例页面:Amazon TV Category。javascript'> window.ue_ihb = (window.ue_ihb || windo
浏览 26
提问于2021-03-31
得票数 0
回答已采纳
2
回答
在
使用
bs4进行web
抓取
时,总是得到无结果
、
、
、
我刚开始学习网络
抓取
,我决定为列出的
产品
名称做
亚马逊
的网络
抓取
。因此,我启动了chrome dev工具,并单击了amazon
产品
名称上的inspect,然后记录了这个
类
,在本例中,这个
类
的名称是'a-link-normal‘。问题是我得到的结果是无。这是代码-import requests source = requests.get('
浏览 7
提问于2020-08-29
得票数 1
3
回答
python请求&漂亮汤机器人检测
、
、
、
、
我试图
使用
请求&漂亮的汤来
抓取
页面的所有HTML元素。我正在
使用
ASIN (
亚马逊
标准标识号)来获取页面的
产品
细节。我的代码如下:import requestsrespo
浏览 1
提问于2018-08-29
得票数 2
回答已采纳
2
回答
尝试获取所有的href属性
、
我正在尝试
从
亚马逊
类别网站()
抓取
所有的urls。但是我只能获取任何类
别的
第一个url,例如从"Amazon video“获取"All video”,"Fire TV“amazon fire tv,等等。这是我的代码:import requests url = "https://www.amazon.es/gp/site-directory/ref=na
浏览 14
提问于2017-03-14
得票数 1
1
回答
用
BeautifulSoup
在Python中
抓取
不同网站的价格跟踪器
、
、
我是Python的初学者,并且已经开始在Python中进行web
抓取
。目前,我正在尝试建立一个价格跟踪器的在线商店,如
亚马逊
。我能够用
BeautifulSoup
和requests
从
亚马逊
抓取
文本,如
产品
的价格和名称,收集这些数据后,我可以将价格与用户设置的门槛价格进行比较。我有一个我想
使用
我的价格跟踪器的其他在线商店/网站的列表,例如Footlocker。由于每个网站都有不同的html结构,有没有一种方法可以编写一个简单的
Beauti
浏览 16
提问于2021-01-09
得票数 1
2
回答
使用
Python的
BeautifulSoup
上的属性错误(web
抓取
)
、
、
、
我遵循了一篇关于
使用
Python进行web
抓取
的教程,到目前为止,我已经掌握了以下内容:from bs4 import
BeautifulSoup
page = requests.get(URL,headers=headers) soup =
BeautifulSoup
page.text, 'html.pa
浏览 13
提问于2019-11-11
得票数 1
回答已采纳
2
回答
BeautifulSoup
不会
从
网页中
抓取
任何内容
、
、
我正在做一个网络
抓取
项目。在这个项目中,我试图在
亚马逊
的一个特定页面上刮掉所有的
产品
链接。这个过程将重复所需的次数,并从
亚马逊
抓取
多个页面。nb_sb_noss' soup =
BeautifulSoup
我正在
使用
用户代理来使
抓取
成为可能。 我的问题是这段代码并不总是在运行。有时它
浏览 8
提问于2020-05-29
得票数 0
2
回答
xpath如何打印多个元素
、
、
我正在尝试
使用
HTMLSession和xpath在
亚马逊
的第一个
产品
页面上
抓取
产品
标题。from requests_html import HTMLSession session =qid=1605730376&ref=sr_pg_1') >{'title': 'Echo Dot (3rd Gen) - Smart speak
浏览 12
提问于2020-11-21
得票数 0
回答已采纳
1
回答
用
BeautifulSoup
- HTML不同格式
从
CSS
类
链接中提取标题
、
我刚开始
使用
BeautifulSoup
进行网络
抓取
,并遇到了以下问题:我试图
从
论坛上
抓取
帖子,我想提取帖子的标签。下面是标记
类
的HTML代码:这种格式在
整个
表单中是一致的。
浏览 5
提问于2021-06-08
得票数 0
回答已采纳
1
回答
BeautifulSoup
不工作,而网络
抓取
亚马逊
、
、
我刚开始
使用
网络
抓取
,我正尝试在
亚马逊
上
使用
基本技能。我想做一个代码,以寻找前10名的“今日最伟大的交易”与价格,评级和其他信息。每次我尝试
使用
find()和指定
类
找到特定的标记时,它都会说'None‘。然而,实际的HTML有这个标记。在手动扫描时,我发现一半的代码没有显示在输出终端中。下面是我正在尝试的代码:import requests source = requests.get(
浏览 2
提问于2019-05-08
得票数 0
1
回答
为什么我在web
抓取
时得到的是一个空列表而不是一个包含元素的列表
、
、
、
://www.theguardian.com/world/2020/oct/25/covid-world-map-countries-most-coronavirus-cases-deaths中的表中
抓取
国家名称作为一个列表代码如下: import requests webpage = requests.get("https://www.theguardian.com/world/
浏览 8
提问于2020-10-27
得票数 0
9
回答
BeautifulSoup
和Scrapy crawler有什么区别?
、
、
、
我想做一个网站,显示
亚马逊
和易趣
产品
价格的比较。其中哪一个会工作得更好?为什么?我对
BeautifulSoup
比较熟悉,但对Scrapy crawler不太熟悉。
浏览 323
提问于2013-10-30
得票数 146
回答已采纳
2
回答
如何
抓取
没有页数的url
、
、
我正在
抓取
一个网页,其中有一个没有页面,我如何才能
抓取
这些页面,以获得我想要的信息。假设我正在
抓取
一个URL ,这个页面有两个页面,我如何
抓取
这些总页面并得到总的
产品
列表。到目前为止我所做的是:我
从
他们那里
抓取
一个url,我通过正则表达式
抓取
一个特定的url,并试图从那个url中找到他们的链接,其他页面中没有包含链接
产品
名称的信息。我想要从所有页面中获取
产品
名称。我的代码: from bs4 import
B
浏览 1
提问于2016-02-28
得票数 0
1
回答
只有在逐行手动执行代码时才能正常工作
、
、
、
我对编码、Python和web
抓取
非常陌生。我正试着在
亚马逊
搜索结果页面上搜索
产品
价格。当我将这段代码作为一个块运行时,price返回0个元素。from bs4 import
BeautifulSoup
url = 'httpscrystal+chandelier&qid=1596736254&ref=sr_pg_1'htm
浏览 11
提问于2020-08-07
得票数 0
1
回答
抓取
arcteryx网站时,查找所有
产品
的
类
或id是什么?
我正在尝试
抓取
arcteryx网站,以便获得csv格式的男士
产品
列表。我在浏览网站上的html时遇到了麻烦。更具体地说,我在加载所有
产品
时遇到问题,因为我似乎找不到
使用
哪个
类
或id来提取
使用
find_all的所有
产品
。任何建议都将不胜感激。import requestsfrom csv import writer response = requests.get("https:
浏览 2
提问于2020-05-05
得票数 0
2
回答
使用
BeautifulSoup
抓取
产品
名称
、
、
我正在
使用
BeautifulSoup
(BS4)构建一个
抓取
器工具,它允许我
从
位于“h1”标签之间的任何TopShop.com
产品
页面中提取
产品
名称。我不明白为什么我写的代码不能工作!from urllib2 import urlopenimport re ProductPage
浏览 0
提问于2013-02-15
得票数 0
回答已采纳
1
回答
通过Amazon检测卖方类型
、
我的意思是三种可能的类型-
亚马逊
,商人和FBA (由
亚马逊
实现)。谢谢!
浏览 0
提问于2016-03-27
得票数 0
回答已采纳
4
回答
从不同深度的链接中解析
产品
名称的问题
、
、
、
下面的脚本可以
从
大多数链接中获得
产品
名称(通过漫游类别链接生成,然后通过子类别链接生成)。脚本可以解析在单击位于每个类别右侧的子类别链接,这些标记在下面的图像中可见,然后解析目标页面中的所有
产品
名称。目标页面。 import requestsfrom bs4 import
BeautifulSoup<
浏览 2
提问于2018-08-28
得票数 11
回答已采纳
1
回答
浏览零售商网站上的每一件商品
、
、
、
、
我们试图在Forever 21的网站上
抓取
每个类
别的
每一种
产品
。给定一个
产品
页面,我们知道如何提取所需的信息,并且给定一个类别,我们可以提取每个
产品
。然而,我们不知道如何在每个
产品
类别中爬行。下面是我们针对给定类别和获取每种
产品
的代码:from bs4 import
BeautifulSoup
#import re params =http://www.forever21.
浏览 0
提问于2016-11-04
得票数 1
2
回答
如何在收到来自xml解析的无响应后继续
、
、
我正在寻找
亚马逊
产品
的价格,
使用
带有瓶颈的API并
使用
BeautifulSoup
解析xml。我有一个预定义的
产品
列表,代码遍历这些
产品
。这是我的密码:import lxmlamazon = BN.Amazon('soup.LowestUsedPrice.Amount.string newprice=soup.L
浏览 5
提问于2016-02-08
得票数 1
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
使用多个Python库开发网页爬虫(一)
Python爬虫入门,快速抓取大规模数据
第二热门语言:从入门到精通,Python数据科学简洁教程
使用Python进行网页抓取的介绍
爬虫入门——详解Python是如何进行网页抓取!
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券