腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
如何
使用
python
和
lxml
中
的
for
循环
从
网站
链接
列表
中
检索
页面
内容
?
python
、
python-3.x
、
xpath
、
lxml
我正在从一个
网站
上抓取数据,我已经
检索
到了一个URL
列表
,我将从该
列表
中
获得我需要
的
最终数据。
如何
使用
循环
从这个地址
列表
中
检索
html?
使用
lxml
中
的
xpath,我得到了一个URL
列表
。现在,我需要
检索
每个URL
的
页面
内容</e
浏览 18
提问于2019-04-30
得票数 0
回答已采纳
3
回答
用
python
刮
网站
python
、
web-scraping
、
beautifulsoup
、
scrapy
、
libraries
我试图在网上刮一个
网站
,以获取价格
和
标题
从
它。我已经看过多个教程
和
博客,最常见
的
库是漂亮汤和scrapy。如果有一种方法可以在不
使用
任何第三方库(如beautifulsoup
和
scrapy )
的
情况下抓取一个
网站
,那么就可以
使用
beautifulsoup。
浏览 1
提问于2020-06-09
得票数 1
回答已采纳
1
回答
美汤环境下
lxml
和
html5lib
的
区别
python
、
beautifulsoup
、
lxml
、
html5lib
在美丽汤
的
上下文中,
lxml
和
html5lib解析器
的
性能之间有什么区别吗?, 'html5lib') print item['href'] 我
从
使用
lxml
作为解析器开始,但注意到对于某些
网站
,尽管
页面
中有有效
的
链接
同一
页面
适用于html5ib解析
浏览 4
提问于2013-09-03
得票数 9
回答已采纳
1
回答
生成EDGAR文件路径
列表
ftp
、
edgar
我对编程非常陌生(虽然我愿意学习),所以先为我
的
基本问题道歉。
浏览 7
提问于2016-05-22
得票数 0
2
回答
如何
使用
Scrapy
循环
浏览
网站
的
多个
页面
python
、
web-scraping
、
beautifulsoup
、
scrapy
我一直在为我
的
刮刮项目与BeautifulSoup合作。现在我在学刮子。我用BeautifulSoup编写了一段代码,在一个
使用
for
循环
的
网站
的
多个
页面
上
循环
。我
使用
下面的代码
循环
了10多个
页面
,并从这些
页面
中
获取了博客文章
的
URL。我也想在Scrapy做同样
的
事,但不知道怎么做。同样
的
方法(代码)可以<em
浏览 6
提问于2021-12-07
得票数 1
回答已采纳
1
回答
lxml
和
xpath:返回“[<0x29a9998>处
的
元素x]”而不是预期值
python
、
html
、
xpath
、
lxml
我正在尝试抓取TD Asset Management
页面
(以下示例;我不能发布超过两个
链接
),以便
检索
“价格原样”值,即此HTML片段
中
的
美元金额:apt-get update apt-get install
python
python
-pip
python
-dev
浏览 0
提问于2015-06-14
得票数 1
1
回答
webscraping:
使用
python
: airbnb
列表
从
html
中
的
xpath中提取url
python
、
xpath
、
web-scraping
、
beautifulsoup
、
lxml
我正在尝试
使用
Python
3库
从
AirBnb
的
城市
页面
中提取
列表
的
urls。我熟悉
如何
使用
Beautifulsoup
和
requests库来抓取更简单
的
网站
。网址:'‘ xpath: "//*[@id="
浏览 16
提问于2018-08-31
得票数 0
5
回答
Ajax seo技术
php
、
javascript
、
html
、
ajax
、
seo
我读过一些关于使google能够抓取基于ajax
的
站点
的
主题,但是这些信息是很有争议
的
。有可能吗?如果是,可以有人张贴到教程
的
链接
吗?我经常以以下方式将ajax与jquery结合
使用
: 谢谢
浏览 1
提问于2011-03-20
得票数 4
回答已采纳
1
回答
使用
Python
查询网页
python
、
html
、
web
、
urlopen
我正在学习
Python
编程,我正在做
的
一个练习如下:我正在编写一个
Python
程序来查询
网站
"orbitz.com“并返回最低
的
机票价格。出发城市
和
到达城市以及日期用于构建URL。我
使用
urlopen命令执行此操作,如下所示:from
lxml
.html import parse the_li
浏览 1
提问于2013-10-04
得票数 1
2
回答
从
web服务器获取特定
的
.html文件
python
、
urllib2
我
的
目的是
从
文件名上有"metallica“一词
的
网站
()获取.html文件。
使用
python
怎么可能做到这一点?我听说过urllib2,但作为
python
新手,我对
如何
使用
它一无所知。
浏览 0
提问于2010-01-20
得票数 0
回答已采纳
2
回答
请求对象未正确过滤
python
、
if-statement
、
python-requests
我试图
使用
Python
的
请求库
从
页面
中
检索
所有URL。我不明白为什么我
的
过滤器比我预期
的
还要多退回数百件物品。list is now', len(listly), 'objects long')print('-'*5) 但是,最终
列表
包含487项(
从
浏览 15
提问于2022-02-20
得票数 0
回答已采纳
5
回答
如何
使用
Python
获取域名
中
的
所有
链接
?
python
、
web-scraping
、
beautifulsoup
、
lxml
我想
使用
Python
来获得一个域中
的
所有
链接
,给出'root‘URL (在一个
列表
中
)。假设给定一个URL ,它应该返回与根URL相同域
的
页面
上
的
所有
链接
,然后对访问它们
的
每个
链接
进行递归,并提取相同域
的
所有
链接
,依此类推。我所说
的
相同域名
的
意思是,如果给了,我想要回来
的
唯一
浏览 13
提问于2016-01-06
得票数 5
1
回答
Python
从
搜索结果
中
抓取
链接
php
、
python
、
search
、
web-scraping
、
beautifulsoup
我正在尝试
使用
Python
从新闻
网站
的
关键字搜索中生成/
检索
新闻
链接
列表
。对于谷歌搜索,我知道有些
使用
,但谷歌搜索
页面
有自己
的
链接
地址(即),有些
网站
不通过
网站
地址传递关键字。首先--例如,在
中
,不管用户键入哪个关键字(是另一个例子),用户都会被引导到具有
链接
列表
的
搜索结果
页
浏览 2
提问于2015-10-28
得票数 1
3
回答
RSS屏幕刮板
python
、
rss
谁能指给我一个现成
的
RSS屏幕抓取器,最好是
Python
的
,以便获得全文RSS提要?
浏览 0
提问于2010-03-02
得票数 3
回答已采纳
1
回答
从一个站点返回
的
数据,而不是
从
另一个站点返回
的
数据
python
、
html
、
xpath
、
lxml
我只是学习巨蟒,并决定玩一些
网站
刮。
Py
浏览 1
提问于2017-04-21
得票数 1
回答已采纳
1
回答
Boots.com -只返回第一页
的
结果
web-scraping
、
beautifulsoup
、
python-requests
我正在尝试
从
Boots.com护肤品类别
页面
:
中
刮取数据我已经成功地
使用
请求和BeautifulSoup在第一页上抓取了数据。我试过
使用
循环
,但它重复相同
的
产品url。下面的代码给了我48个结果,但有重复
的
第一页
的
24个项目。(
链接
’href‘) 我尝试
使用
第二页
的
url,但它仍然
从
第一页返回数据。('div
浏览 5
提问于2022-07-17
得票数 0
1
回答
使用
python
从
同一网页
中
的
多个
链接
中提取数据
python
、
web-scraping
、
beautifulsoup
、
python-requests
我是蟒蛇
和
网络抓取
的
新手。测试索引有用于各种临床测试
的
测试组件
的
名称
列表
。单击每个名称将带您到另一个
页面
,其中包含有关单个测试组件
的
详细信息。我想从这一页中提取出有共同问题
的
部分。 最后,将包含测试组件名称
的
数据框架放
浏览 1
提问于2018-01-19
得票数 0
1
回答
Python
BeautifulSoup4 -
从
多个节/表
中
抓取节/表标题
和
值
python
、
web-scraping
、
beautifulsoup
我正在尝试
从
以下
页面
中
抓取带有上下文信息
的
链接
:。我可以通过
Python
使用
BS4很好地获得这些
链接
,但是将年份、季节、标题
和
剧集与这些
链接
关联起来是最理想
的
。所需
的
输出将如下所示:我已经从下面的代码开始,但不知道
如何
循环
代码来捕获每个季/标题
的
部分
内容
:
浏览 1
提问于2018-04-16
得票数 0
4
回答
在
Python
中
解析格式错误
的
html时,
lxml
和
libxml2
中
的
哪一个更好?
python
、
html-parsing
、
lxml
、
libxml2
对于格式错误
的
html,哪一个更好、更有用?谢谢。
浏览 0
提问于2012-02-17
得票数 8
回答已采纳
1
回答
使用
python
和
lxml
从
网站
获取html源代码
python
、
xml-parsing
、
html-parsing
、
lxml
我是
python
的
初学者,并试图用
Python
2.7创建一个过程,该过程
从
以下
网站
检索
投注概率。bet.hkjc.com/racing/pages/odds_wp.aspx?date=24-09-2015&venue=hv&raceno=1 中文版
网站
:该过程在其他
网站
(例如reddit或
l
浏览 4
提问于2015-09-24
得票数 1
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
使用Python进行网页抓取的介绍
爬虫入门——详解Python是如何进行网页抓取!
Python爬虫实现的微信公众号文章下载器
Python 语法速览与实战清单
Python爬虫从入门到出门(二)
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券