腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(5623)
视频
沙龙
1
回答
用
Selenium
和
BeautifulSoup4
抓取
动态
加载
的
Href
属性
python
、
python-3.x
、
selenium
、
web-scraping
、
beautifulsoup
我尝试用
Selenium
和
BeautifulSoup4
抓取
动态
加载
的
href
属性
。 当我查看-source网站时,
href
属性
是空
的
,但当我单击inspect元素时,
href
属性
将有一个链接。意味着
href
属性
是
动态
加载
的
。如何提取该链接?soup.find
浏览 42
提问于2020-08-09
得票数 0
回答已采纳
1
回答
Python -单击链接时
抓取
数据不会更改URL
python
、
python-2.7
、
web-scraping
我想从这里
抓取
数据:在该页面中有一个标题为“市场流动”
的
部分,下面有3列:“最活跃的人”,"%获得者“,"%失败者”,每一个都可以点击。该部分列出了10只股票。同样在第10只股票
的
末尾,有一个可点击
的
矩形“再
加载
10个”。 我想要做
的
是点击"%获得者“,同时点击”
加载
10多个“,查看排名前20
的
获得者列表,并在Python中
抓取
数据。
浏览 1
提问于2015-09-11
得票数 1
1
回答
搜索pdf链接从各地
的
网站
python
、
selenium
、
web-scraping
、
beautifulsoup
、
scrapy
我知道BeautifulSoup有几种使用标签查找pdf文件
的
解决方案,但我想使用基本url搜索整个域,而不仅仅是链接
的
页面。我
的
想法是a)首先搜索整个网站
的
所有子链接,然后b)过滤掉有.pdf扩展名
的
链接。['
href
']) if readable_website_name not in link.get('
href
') and len(link.get('
href
&
浏览 11
提问于2021-07-02
得票数 0
4
回答
JavaScript
和
HTML
的
抓取
javascript
、
python
、
parsing
、
web-scraping
、
web-crawler
我正在做一个项目,其中我需要
抓取
几个网站,并从他们收集不同种类
的
信息。信息,如文字,链接,图像等。有什么办法吗?
浏览 8
提问于2014-03-31
得票数 5
回答已采纳
1
回答
WGET -从第三方网站下载特定文件(通过扩展或mime类型)
bash
、
shell
、
terminal
、
wget
我需要使用wget从网站获取所有的".js“扩展文件,包括第三方
的
扩展文件,但并不总是这样做。我
的
代码中是否遗漏了什么? 提前感谢!
浏览 24
提问于2020-04-29
得票数 0
3
回答
如何在javascript中返回搜索结果(使用python)
javascript
、
python
、
web-scraping
我想要刮
的
站点使用JavaScript填充返回。返回
的
来源很简单<?xml-stylesheet type="text/xsl"
href
="/
浏览 0
提问于2014-03-25
得票数 2
回答已采纳
2
回答
什么是最好
的
方法来刮这个网站?(不是硒)
python
、
web-scraping
titles.append(title) print(magnets) 我几乎可以肯定,这段代码中没有错误,因为代码最初是为设计
的
,如果您查看这两个网站
的
HTML结构,它们使用相同
的
标签进行磁铁链接
和
标题名称经过一些研究,我发现问题是使用
动态
加载
网页
的
JavaScript。因此,经过更多
的
研究,我发现硒被推荐用于这个目的。在使用
selenium
一段时间之后,我发现了使用它
的
一些缺点,例如
浏览 6
提问于2020-03-27
得票数 1
回答已采纳
1
回答
如何使用scrapy或
selenium
抓取
动态
页面?
javascript
、
python
、
html
、
parsing
、
screen-scraping
我正在尝试
抓取
web
动态
页面,但使用scrapy时,我不能检索所有信息,因为我想要
的
信息是
动态
的
。 我试着使用
Selenium
,但与Scrapy不同
的
是,你不能指定头部,网站阻止了我。(我不能说出这个网站
的
名字,因为
抓取
是非法
的
,但它是一个著名
的
旅游元搜索引擎...)。我有一个带有验证码解算器
的
页面(
用
脚本很难解决重新验证码),因为网站会检测到我是机器人。我想拥有
浏览 23
提问于2019-06-13
得票数 0
1
回答
如何
抓取
出现在网站上但不出现在网站源页上
的
内容?
scrapy
、
web-crawler
我试图刮所有他们
的
现场活动
和
相应
的
赔率投注网站。<div class="sports-body" data-bind="visible: anyNonStarred">
浏览 3
提问于2019-07-31
得票数 0
2
回答
BeautifulSoup web
抓取
,无结果
python
、
beautifulsoup
、
web-crawler
我在试着从https://hk.appledaily.com/search/apple..。我需要从div class="flex-feature"但它只返回[]..。希望大家能帮忙,谢谢! from bs4 import BeautifulSoup results = soup.find_all(
浏览 40
提问于2020-10-06
得票数 2
回答已采纳
1
回答
如何使用cheerio
抓取
动态
网站?
javascript
、
reactjs
、
web-scraping
、
axios
、
cheerio
首先,请理解使用翻译器可能不正确
的
语法。 我将在React环境中使用cheerio来做web
抓取
。(仅供参考,此代码在
抓取
其他站点时运行良好): const cheerio = require("cheerio"); } }, (err) => console.log("error")); }
浏览 30
提问于2021-01-04
得票数 0
1
回答
针对
动态
网站
的
Selenium
出现VBA问题,无法关闭弹出窗口
excel
、
vba
、
selenium
我试着为一个被
动态
加载
的
网站做网页
抓取
,我今天试着关闭弹出图标或者点击“不谢谢”,但是它不起作用,我在屏幕截图中显示错误。我需要获取产品名称,新
的
和
旧
的
价格和他们
的
href
图像URL在excel中。Option Explicit Set cd = New
Selenium
浏览 3
提问于2022-10-16
得票数 1
回答已采纳
1
回答
Bs4找不到正确
的
元素
python-3.x
、
web-scraping
、
beautifulsoup
代码不打印任何内容,而是打印所请求
的
元素 import requests result = requests.get
浏览 3
提问于2020-03-06
得票数 0
1
回答
如何获取给定地址
的
净值?
balances
、
external-api
、
explorer-api
📷到目前为止,API要么需要一个合同地址,要么需要返回eth估值。PS:对不起,如果有错误
的
标签
浏览 0
提问于2021-03-20
得票数 2
1
回答
有没有人可以指导我如何使用python收集标签中
的
url地址列表?
python-3.x
、
excel
、
parsing
、
web-scraping
、
data-collection
“
的
列表,并希望将它们存储在csv文件中。我可以手动做,如使用excel,从感兴趣
的
网站复制urls,并逐个粘贴它们。但这是单调乏味
的
,而且肯定会花费很多时间。 有没有人能建议和指导一种更快
的
方法?
浏览 15
提问于2020-07-23
得票数 2
2
回答
如何在随机生成
的
href
中刮取一些文本-
selenium
selenium
、
web-scraping
我正在使用
selenium
抓取
一个
动态
页面,在下面的示例中,我在获取文本1
和
text 2时遇到了困难:如果跨度为div,也会发生同样
的
情况。我设法
用
这个python行获得了文本1。var = driver.find_
浏览 1
提问于2022-10-28
得票数 -1
回答已采纳
3
回答
从特定网站创建URL列表
python
、
python-3.x
、
web-scraping
、
beautifulsoup
这是我第一次尝试用编程来做一些有用
的
事情,所以请容忍我。我们非常赞赏建设性
的
反馈:) 我正在努力建立一个数据库,其中包含欧洲议会
的
所有新闻稿。到目前为止,我已经构建了一个刮板,可以从一个特定
的
URL检索我想要
的
数据。但是,在阅读
和
查看了几个教程之后,我仍然不知道如何创建包含这个特定站点
的
所有新闻稿
的
URL列表。也许这与网站是如何建立
的
有关,或者我(可能)只是错过了一个有经验
的
程序会马上意识到
的
一些显
浏览 4
提问于2017-10-16
得票数 1
回答已采纳
1
回答
为什么我
的
网络
抓取
没有返回任何东西?
python
、
web-scraping
我对python上
的
web
抓取
是个新手。我有问题,当我运行我
的
代码,返回是白色空白,但它不是错误。我只是做了与课程相同
的
代码,但它对我不起作用 import urllib.request def __sp = BeautifulSoup(html, parser) url = tag.get('<e
浏览 22
提问于2020-08-21
得票数 0
3
回答
如何从
加载
动态
的
页面中刮取值?
python
、
html
、
httprequest
、
httpresponse
我正在努力
抓取
的
网站主页上显示了四个标签,其中一个标签上写着“数字可用
的
工作”。我对刮取数字值很感兴趣。当我在Chrome中检查页面时,我可以看到包含在<span>标记中
的
值。我
的
问题是: 这里发生了什么事?如何将值
动态
加载
到页面中,显示,然后不出现在HTML
浏览 6
提问于2016-09-03
得票数 0
1
回答
如何在python中使用Qt模拟链接
的
点击事件
python
、
pyqt
、
web-crawler
我想屏幕
抓取
有多个页面的网站。这些页面在不更改URL
的
情况下
动态
加载
。我不想使用
Selenium
,因为每次你需要content.Does qt
的
时候它都会打开浏览器,如果不是这样,我怎么
用
QT模拟点击事件呢? 附言:谷歌提供了模糊
的
回答,提前感谢
浏览 1
提问于2013-01-28
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
selenium+python爬取简书文章
python爬虫爬取QQ说说并且生成词云图,回忆满满!
python爬虫学习:爬虫QQ说说并生成词云图,回忆满满
Python爬虫入门,快速抓取大规模数据4
Python基础教程 Beautiful Soup
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券