腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
圈层
工具
MCP广场
文章/答案/技术大牛
搜索
搜索
关闭
发布
文章
问答
(9999+)
视频
沙龙
1
回答
使用
BeautifulSoup
和
Selenium
进行
when
抓取
时
的
打印
问题
、
、
我对编程还是个新手,但我一直在尝试通过网络
抓取
一些网站来练习,然而,我总是遇到这个
问题
。代码非常简单,如下所示。from bs4 import
BeautifulSoup
import csv f.write(headers + '\n'
浏览 15
提问于2020-02-09
得票数 0
回答已采纳
1
回答
在Python中
打印
selenium
webelement
的
HTML文本
、
、
、
、
我正在
使用
Python中
的
Selenium
webdriver
进行
web
抓取
项目。谢谢
浏览 19
提问于2011-11-30
得票数 5
回答已采纳
1
回答
用Laravel
和
Selenium
进行
Web
抓取
、
、
、
我目前正在
使用
Python
进行
web
抓取
。我
使用
了
Selenium
和
Beautifulsoup
库来
抓取
。我最近知道
Selenium
适用于php/Laravel。我
的
问题
是,我可以
使用
Laravel +
Selenium
web驱动程序
抓取
web吗?如果是,你能给我提供一些链接或存储库,以便我学习吗?我被迫在我
的
浏览 19
提问于2019-11-19
得票数 0
1
回答
Selenium
下载完整
的
html页面
、
我正在学习
使用
Python
Selenium
和
BeautifulSoup
进行
web
抓取
。目前,我正在尝试
抓取
谷歌搜索趋势上
的
热门搜索from bs4 import
BeautifulS
浏览 1
提问于2013-05-17
得票数 15
1
回答
单击某个元素可
使用
python web
抓取
功能动态更改内容
、
、
所以我从我
的
作品网站上收集了所有的数据,以获得我所有的班次
和
关于那些班次
的
数据,比如python
和
漂亮
的
汤。
抓取
移位是很好
的
,因为它们只是元素。但是要获得信息,比如谁在轮班,你必须单击一个元素,它会显示一个隐藏
的
元素,但也会根据你点击
的
日期更改信息。这可以
使用
javascript函数showFloorPlan('N','N','N','202006
浏览 17
提问于2020-06-23
得票数 0
1
回答
向下爬网到表
、
、
、
、
我正在寻找以下网站上
的
表格。我提取
的
html仅限于小部件切换器。我是网络刮擦
的
新手,所以在正确
的
方向上
的
一个点将是非常欢迎
的
。 return html page='https://www.pro14rugby.org/match-centre/res
浏览 3
提问于2019-07-22
得票数 0
3
回答
用于web
抓取
的
Selenium
与
BeautifulSoup
、
、
、
我正在
使用
Python从一个网站上
抓取
内容。首先,我在Python上
使用
了
BeautifulSoup
和
Mechanize,但我看到网站上有一个通过JavaScript创建内容
的
按钮,所以我决定
使用
Selenium
。既然我可以通过像driver.find_element_by_xpath这样
的
方法
使用
Selenium
查找元素并获取它们
的
内容,那么当我可以
使用
浏览 1
提问于2013-07-03
得票数 53
回答已采纳
3
回答
使用
BeautifulSoup
和
Selenium
抓取
问题
、
、
、
、
-- --></span> </span>]我尝试过这个函数.get_text().strip(),但似乎span标记阻塞了我
的
函数.
浏览 5
提问于2022-05-23
得票数 3
回答已采纳
1
回答
使用
Python
进行
web
抓取
、
、
我需要在我
的
python代码中
使用
一个特定
的
网站(将英语翻译成我
的
语言),而且我也不想在python中
使用
googletrans,这是大量
的
数据,所以我需要
使用
python来快速完成它,是否有任何引用或标题比我能读到
的
或者是蟒蛇里
的
医生?谢谢
浏览 3
提问于2020-05-12
得票数 1
回答已采纳
2
回答
如何搜索'POST数据应该是字节、可迭代
的
字节或文件对象。它不能是str类型
的
。‘
、
、
我
的
代码:from bs4 import
BeautifulSoup
print(res.decode_contents().strip()) File "/home/
浏览 10
提问于2022-01-06
得票数 0
回答已采纳
3
回答
硒自动化可以与BS4一起
使用
吗?
、
、
、
、
我正在
使用
selenium
进行
自动化
和
抓取
。现在我发现有些网站
的
速度太慢了。如果我
使用
beautifulSoup
,那么我可以更快地
抓取
它们,但自动化却无法完成。有什么地方我可以自动化网站(按钮,点击,事件等)还能在
beautifulSoup
上用它刮网站吗?任何帮助都将不胜感激..。
浏览 2
提问于2020-04-09
得票数 1
回答已采纳
2
回答
我试图刮网站,但我遇到了一个
问题
。当我试图
抓取
数据
时
,看起来html与我所看到
的
不同。
、
、
、
我试图刮网站,但我遇到了一个
问题
。当我试图
抓取
数据
时
,它看起来与我点击检查选项
时
看到
的
不同。我试图刮"“网站,以获得分行名称
和
地址
的
所有分行
的
银行。from bs4 import
BeautifulSoup
fro
浏览 2
提问于2020-11-05
得票数 0
回答已采纳
2
回答
用
BeautifulSoup
抓取
Facebook好友
、
、
、
我已经用
BeautifulSoup
做了一些基本
的
web
抓取
。在我
的
下一个项目中,我选择了刮取指定用户
的
facebook好友列表。
问题
是,只有当你登录
时
,facebook才能让你看到好友列表。因此,我
的
问题
是,我是否可以绕过它,如果没有,我是否可以让
BeautifulSoup
像登录一样?这是我
的
密码:from bs4 import
浏览 0
提问于2019-08-24
得票数 2
回答已采纳
1
回答
webscraping返回不完整
的
信息
、
、
现在学习网络
抓取
,并决定放弃电报
的
网络版本,所以我选择了一个聊天(与你自己最喜欢
的
),并发送了很少
的
声音。我
的
任务是-当我检查页面有一个div容器<div class="audio-time">0:00</div>
时
,我想长出所有的声音。[]
浏览 3
提问于2022-11-27
得票数 0
1
回答
BeautifulSoup
有时无法获取所有页面源代码
、
、
我正在
使用
Selenium
和
beautifulSoup
4
进行
抓取
。
问题
是我
的
脚本有时‘result’是空
的
,有时不是。我不明白为什么它有时不能工作。是网站
的
安全
问题
还是RAM
的
问题
?我不知道resul
浏览 4
提问于2021-06-09
得票数 1
1
回答
BS4返回到Cloudflare网站,而不是实际
的
网站
、
、
、
这是我
的
代码。这是有效
的
,但当代码
打印
时
,它会
打印
DDOS攻击网站,而不是加载之后
的
网站。我甚至尝试做一个time.sleep(5)来帮助计时。 我怎么才能克服这一点。import requestsimport time url = 'https://www.psacard.com/cert/49628062User-Agent': '
浏览 26
提问于2021-01-15
得票数 0
2
回答
Dinamica JS加载站点上
的
Web
抓取
、
、
、
我正在做以下页面的web
抓取
工作:COVID,我需要做
的
是生成表
的
csv,该表出现在页面上,但动态加载了我正在
使用
selenium
的
数据。
问题
是,即使这样,我也找不到包含以下代码
的
表: import requests from
selenium
import webdriverfrom
selenium
.webdriver.common
浏览 26
提问于2020-12-14
得票数 0
回答已采纳
4
回答
Bs4选择器:用美汤刮亚马逊
、
、
我试图刮一个网站,有链接到亚马逊与Python
使用
这些框架-硒,美丽
的
汤。我
的
目标是收集以下Amazon产品
的
详细信息--> Title,Price,Description,First Review 但我很难
使用
漂亮
的
选择器,我尝试了许多组合,但我要么得到一个空输出,要么得到错误主要
的
问题
是Beautiful soup没有XPath选择器(AFAIK)。我应该
使用
scrapy来完成这项任务,还是scrapy对于这个简单
的
浏览 50
提问于2018-06-08
得票数 0
回答已采纳
1
回答
如何
使用
XPath
和
Selenium
从网页中
抓取
特定项目?
、
、
、
我尝试
使用
Python (
Selenium
、
BeautifulSoup
和
XPath)用一个等于"description“
的
itemprop来
抓取
一个跨度,但每次我运行代码
时
,"try”都会失败,并
打印
出当我检查页面上
的
元素
时
,我确实在代码中看到了该元素。未获得所需响应
的
行: quick_overview = soup.find_element_by_xpath("
浏览 22
提问于2021-04-30
得票数 0
1
回答
在python中接受cookie后
抓取
网页
、
、
、
、
我正在尝试
抓取
网页,但在访问该页面之前,有一个接受cookie
的
横幅。我
使用
selenium
点击按钮"Accept all cookies“,但即使在点击按钮之后,我也不能访问正确
的
HTML页面。这是我
的
代码: from
selenium
import webdriverfrom
selenium
.webdriv
浏览 15
提问于2021-08-25
得票数 1
回答已采纳
点击加载更多
热门
标签
更多标签
云服务器
ICP备案
云直播
腾讯会议
实时音视频
活动推荐
运营活动
广告
关闭
领券