腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(5563)
视频
沙龙
1
回答
Selenium
:
从
网站
抓取
文
本会
输出
错误
的
内容
python
、
selenium
、
selenium-webdriver
我目前已经编写了一些基本
的
Selenium
代码,可以打开web浏览器,转到Google Shopping,通过它
的
EAN搜索产品,转到比较部分,然后对页面进行截图并保存。我一直试图改变这一点,以
抓取
谷歌购物价格比较页面,但当我尝试以下操作时: print(driver.find_elements_by_class_name('tiOgyd')) 它
的
输出
<
selenium
.webdriver.remote.webelement.Web
浏览 24
提问于2019-05-15
得票数 1
回答已采纳
2
回答
使用lxml.html
抓取
embed元素,或者如何欺骗
网站
使其认为你已经安装了Flash
python
、
screen-scraping
、
web-scraping
、
lxml
我正在尝试
抓取
一个
网站
,我需要获取一个embed元素,但由于我使用
的
是Python和lxml.html,
网站
会准确地得出我没有安装Flash
的
结论,而不是显示embed元素,而是显示以下
内容
: </b> </font>显然,这是一个问题,所以我想知道,为了检索正确
的
浏览 0
提问于2012-07-04
得票数 0
回答已采纳
1
回答
为什么我
的
网络
抓取
没有返回任何东西?
python
、
web-scraping
我对python上
的
web
抓取
是个新手。我有问题,当我运行我
的
代码,返回是白色空白,但它不是
错误
。我只是做了与课程相同
的
代码,但它对我不起作用 import urllib.request def __也许是
从
我
的
url打印所有
内容
,并使它变得很长,所以不能从我
的
代码或桌面返回它。有谁可以帮我?
浏览 22
提问于2020-08-21
得票数 0
1
回答
XPath在python中返回空
的
[]搜索结果
python
、
xpath
我试着
从
booking.com上提取评论 URL = "https://www.booking.com/hotel/ph/oyo-518-mytown-amsterdam-manila.en-gb.html275784337_2_0_0__139646;srepoch=1632033539;srpvid=af482ec1c5c20263;type=total;ucfs=1&#tab-reviews" 我使用
的
是我
从
浏览器上逐字复制
的
tree.xp
浏览 7
提问于2021-09-20
得票数 0
2
回答
用BeautifulSoup
抓取
下拉选项
python
、
web-scraping
、
beautifulsoup
我想网络刮一个选择列表与BeautifulSoup,以获得汽车原始设备制造商
的
名单。因为我刚刚开始编码,我会非常感谢您
的
输入!谢谢!)期望
输出
(删除"Make“作为第一项,但列出所有其他选项):Alfa RomeoAudi...截至目前
的
产出:代码:import requests URL = ('https
浏览 10
提问于2022-07-29
得票数 -1
2
回答
Python -如何在URL中不分页地刮分页
python-3.x
、
web-scraping
如何使用URL访问下一页,
内容
如下:我知道如何使用刮取库(BS4、
Selenium
),但我不知道如何
抓取
这样
的
站点。我一直在玩谷歌Chrome开发工具,但没有成功。我知道pubmed有API,但是API不返回我需要
的
信息(天气文章是否可以免费下载)。像Python这样
的
抓取
站点通常
的
工作流程是什么?
浏览 0
提问于2019-07-05
得票数 0
回答已采纳
1
回答
为什么BeautifulSoup无法
从
页面源代码中
抓取
完整
的
脚本?
python
、
web-scraping
、
beautifulsoup
我正在尝试解析来自以下
网站
的
页面。然而,
抓取
的
结果脚本与我在Chrome上查看页面源代码时观察到
的
脚本并不相同。clientprint(soup.prettify()) 生成
的
脚本也要短得多你知道为什么我不能根据页面来源刮掉完整
的
脚本吗?我读过一些帖子,其中提到,由于页面由使用javascri
浏览 3
提问于2020-07-23
得票数 0
2
回答
如果python脚本失败,cron作业是否会继续/再次运行?
python-3.x
、
selenium
、
cron
我有一个远程cron作业,它每隔30分钟使用
selenium
抓取
数据。
selenium
脚本大约每10次就有1次失败。当脚本失败时,我得到一个
错误
输出
(各种
selenium
错误
消息)。在一次失败
的
尝试之后,当我输入crontab -l时,它仍然显示我
的
cron作业。 如何确保crontab在30分钟后重试?
浏览 1
提问于2018-03-15
得票数 0
2
回答
下面的
selenium
代码包含xpath
错误
,但是它给出了语法
错误
,没有
输出
,可以解决吗?
python
、
selenium
、
xpath
、
css-selectors
、
webdriverwait
连续语法
错误
,没有
输出
在我
的
网页刮擦程序。我
的
xpath是正确
的
,因为它指向正确
的
名称,但是我没有得到任何
输出
。
网站
是。有人能帮忙吗?我正试图
从
宜家
网站
上获得项目名称,作为一个网络
抓取
代码。但我一直在犯
错误
。有人能帮忙吗?import
selenium
from
seleniu
浏览 1
提问于2019-03-29
得票数 0
回答已采纳
1
回答
Python
Selenium
'WebDriver‘对象没有属性
错误
python
、
selenium
、
attributes
、
web-scraping
、
attributeerror
我正在尝试从一个中文
网站
上
抓取
一些javascript生成
的
内容
。我使用
Selenium
(和Python),因为我不能直接
抓取
javascript
内容
。from
selenium
.
selenium
import
selenium
import urllib2import urllib importLoad page (redacted here, but
浏览 0
提问于2012-10-16
得票数 6
回答已采纳
1
回答
在网页网格中
抓取
javascript数据
javascript
、
python
、
selenium
、
web-scraping
、
phantomjs
我对web
抓取
非常陌生,我正在做一个项目,在这个项目中,我需要从一个加载并需要滚动
的
网格中
抓取
数据,以便获取所有的值。有人能引导我解决这个问题吗?我已经研究并发现,带有js或幻影
的
selenium
可能是一个很好
的
解决方案,但不太确定。编程部分我将使用Python。
浏览 0
提问于2018-08-06
得票数 1
回答已采纳
1
回答
如何在点击按钮后
抓取
数据
python-3.x
、
web-scraping
、
beautifulsoup
我试着用漂亮
的
汤
从
网站
上
抓取
数据,但要
抓取
所有
内容
,我必须点击按钮 <button class="show-more">view all 102 items</button> 加载每一项。我听说可以用
selenium
来完成,但这意味着我必须用脚本打开浏览器,然后
抓取
数据。有没有其他方法来解决这个问题。
浏览 16
提问于2019-06-10
得票数 0
1
回答
如何
抓取
HTML5
网站
并将其
内容
转换为PDF (使用Python或Ruby库)?
javascript
、
python
、
ruby
、
html
、
frameworks
我正在寻找一个可以登录
网站
,
抓取
HTML5
内容
(主要是画布上
的
图表),并能够将其转换为engine/solution/framework/gem/egg/lib/whatever文件(或图像)
的
Ruby我可以用mechanize编写爬行脚本,这样我就可以登录
网站
并
抓取
数据,但是mechanize不理解复杂
的
JavaScript + HTML5。
浏览 2
提问于2012-08-24
得票数 3
回答已采纳
1
回答
在到达cloudflare背后
的
抓取
网站
的
内容
时需要帮助
web-scraping
我正在尝试
从
以下
网站
抓取
文章:使用Python
的
。但是,如果我使用,例如requests.get() (甚至
selenium
),由于以下原因,我无法达到所需
的
内容
: 有人能提出解决办法吗?
浏览 4
提问于2022-10-02
得票数 -1
1
回答
Python -
从
网站
中提取某些链接
python
、
xml
、
beautifulsoup
、
urllib
、
elementtree
data) print href 现在,我得到了一个链接列表,但由于某种原因,我没有得到tbody中
的
重要链接我也尝试过使用ElementTree,但是在读取链接时出现了一个
错误
,因为它使用了一些无效
的
符号(?)。如有任何帮助,将不胜感激!)
浏览 4
提问于2016-01-13
得票数 2
回答已采纳
2
回答
如何向AWS Lambda函数中添加
selenium
& chromedriver?
python
、
selenium
、
selenium-webdriver
、
aws-lambda
我正试图在aws上托管一个webscraping功能,并遇到了
selenium
的
webdriver。有谁能告诉我如何添加chromedriver.exe文件,以及如何在AWS函数中工作。这是我函数中与
selenium
有关
的
部分, from
selenium
import webdriver from
selenium
.webdriver.common.by import By fromfrom
selenium
.webdriver.support import expe
浏览 18
提问于2022-04-05
得票数 1
回答已采纳
2
回答
没有来自curl
的
错误
消息
bash
、
curl
我想知道为什么下面的bash脚
本会
吞下
错误
消息。对于如何不忽视
错误
有什么想法或建议?
浏览 0
提问于2018-02-08
得票数 1
回答已采纳
2
回答
在服务器上运行
selenium
浏览器(Flask/Python/Heroku)
python
、
heroku
、
selenium
、
web-scraping
、
flask
我正在
抓取
一些
网站
,这些
网站
似乎对它有很好
的
保护。我能让它工作
的
唯一方法是使用
Selenium
加载页面,然后
从
页面中
抓取
内容
。目前,这在我
的
本地计算机上工作(当我访问我
的
页面时,firefox窗口会打开和关闭,它
的
HTML会在我
的
脚本中进一步处理)。然而,我需要我
的
刮刀可以在网络上访问。刮刀被嵌入到Heroku上
的
Flask应用
浏览 1
提问于2013-04-09
得票数 16
回答已采纳
1
回答
即使使用
Selenium
,find_all也不能找到所有的东西
python
、
selenium
、
beautifulsoup
我已经看了stackoverflow上关于美丽汤
的
大部分问题,只
从
网站
上
抓取
了一半
的
数据,但到目前为止还没有一个有效。我已经尝试将功能更改为lxml或html5lib等。我也尝试使用
selenium
,现在我尝试使用
selenium
向下滚动
网站
,使用
selenium
加载
网站
上
的
所有
内容
,并使用漂亮
的
汤来
抓取
数据,但当需要超过100个项目时,它只<e
浏览 0
提问于2021-07-04
得票数 0
1
回答
从
FlashScore.ro live中
抓取
信息
python
、
web-scraping
、
beautifulsoup
、
python-requests
我试图从这个
网站
的
https://www.flashscore.ro/baschet/从实时选项卡
抓取
信息。我想在每次有事情发生
的
时候收到一封电子邮件。但我
的
问题是
抓取
我到现在为止拥有的代码时没有返回任何结果。现在我想知道主队
的
名字。 我对用python
抓取
东西有点陌生。
浏览 9
提问于2020-10-26
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
《权力的游戏》最终季上线!谁是你最喜爱的演员?这里有一份Python教程
Python爬虫框架之pyspider
Python 爬虫,登陆神器之Selenium简介
Python爬虫:selenium的填坑心得
Google推出的爬虫新神器:Pyppeteer,神挡杀神,佛挡杀佛!
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券