腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
无法
使用
post请求获取某些项
python
、
python-3.x
、
post
、
web-scraping
、
beautifulsoup
我用python编写了一个脚本,以便从一个网站获得课程材料
的
列表。为了显示课程材料,有必要填写一些inputs,如果您从它
的
登陆页面跟踪Find Textbooks链接,可以找到它,因为它在图像1中是可见
的
。然而,当您填写相应
的
输入,课程材料将显示(我
的
方式,它可以在图像2中看到)。 看来,我做
的
每件事都是正确
的
,但拿不到东西。当我执行我
的
脚本时,它不会解析任何东西,也不会抛出任何错误。我在脚本中
使用
的
选择器应该是准
浏览 0
提问于2018-09-17
得票数 1
3
回答
(BeautifulSoup,请求)
python
、
web
、
web-scraping
、
beautifulsoup
、
python-requests
我正在学习
使用
python进行web抓取,但是我无法获得预期
的
结果。下面是我
的
代码和输出import bs4,requests
r
= requests.get(url)soup.find_all("span",{"class&qu
浏览 1
提问于2017-10-21
得票数 0
回答已采纳
1
回答
用BeautifulSoup实现Web抓取DOI
python
、
beautifulsoup
我目前正在做一个关于网络抓取
的
项目,我需要从谷歌学者
的
记录中获得信息。我需要提取文章
的
DOI,相应
的
HTML页面如下所示。
浏览 4
提问于2021-11-19
得票数 0
1
回答
BeautifulSoup soup.find_all()返回空列表
python
、
list
、
web-scraping
、
beautifulsoup
我尝试
使用
从BeautifulSoup获取数据,但是我得到了一个空列表。也尝试了"html.parser“,但这也没有帮助。请帮我找个解决办法。非常感谢。我
的
代码:import requests response = requests.get("https://www.empireonline.com
浏览 2
提问于2021-03-02
得票数 0
3
回答
如何从span标签中提取值
python
、
html
、
web-scraping
、
beautifulsoup
我正在写一个简单
的
网络抓取器来提取ncaa篮球比赛
的
比赛时间。代码不需要很漂亮,只要工作就行了。我已经从同一页面上
的
其他span标记中提取了值,但由于某些原因,我无法
使用
此标记。span标记上
的
.text是如何工作
的
。时间是我真正想要
的
唯一数据。我只得到了一个空字符串,上面写着我
的
代码当前是怎样
的
。这是我调用time_container时得到
的
代码
的
输出 <span class="t
浏览 16
提问于2019-04-10
得票数 5
2
回答
在web服务器上
使用
java内容
的
抓取
python
、
scrapy
、
web-crawler
我想从一个显然
使用
javascript生成表
的
站点
(这个
站点
是oddsportal.com)中抓取内容。我看到Scrapy无法加载
动态
内容,我阅读
selenium
可以处理它,但我计划
使用
web服务器。 有什么方法可以解析这个
站点
或获取
动态
请求并
使用
scrapy解析它吗?例如,我想从这个页面导入完整
的
表,包括标题、匹配名和赔率。
浏览 3
提问于2016-01-28
得票数 1
回答已采纳
2
回答
美丽
的
肥皂擦拭内容
web-scraping
、
beautifulsoup
有没有办法在最后面得到数字(13)?url='https://mgm.gov.tr/?il=Ankara' mydivs = soup.find_all("div", {"class":
浏览 1
提问于2019-11-22
得票数 1
回答已采纳
1
回答
如何从
使用
Selenium
的
网站中获取不断变化
的
值
html
、
python-3.x
、
selenium
我想读一个
站点
值,我想读
的
值是"DKK 5.000,00“,这里是网站
的
样本大小<span class="text value"> DKK 5.000,00 </span>以下是我
的
代码不起作用 from
浏览 0
提问于2020-06-15
得票数 1
回答已采纳
3
回答
无法
使用
HTML抓取导入数据
python
、
web-scraping
、
python-requests
、
lxml
、
python-requests-html
所以我正在做一个python项目,我决定做一个超市比较
的
东西。我已经决定从现有的超市比较网站上提取价格。我
使用
这个网站学习:import requestspage =page.content) price_tesco = tree.xpath('//*[@id="PriceWrp"]/div[2]
浏览 3
提问于2018-10-12
得票数 0
1
回答
BeautifulSoup:为什么它不能找到所有的iframe?
beautifulsoup
我是BeautifulSoup
的
新手,我想弄清楚为什么它不能像预期
的
那样工作。BeautifulSoup(html.read(), features="html.parser") print(bsObj.find_all('iframe')) 我得到了一个只有2个iframe
的
列表但是,当我
使用
浏览器打开此页面并键入: document.getElementsByTagName("iframe") 在dev-tools中,我得到了一个包含14个元素
的</e
浏览 30
提问于2019-05-18
得票数 0
回答已采纳
1
回答
获取模拟web浏览器
的
html文档程序
java
、
html
、
parsing
、
connection
、
jsoup
问题是,我试图获得一个带有Jsoup.connect类
的
html文档,并且我意识到,如果我
使用
web浏览器直接下载它,那么我
使用
的
文档与我获得
的
文档并不完全相同。我想监控一篇文章
的
价格。我
使用
以下方法获取"Icecat“
的
html文档: Jsoup.connect( "http://icecat.es/es/p/sony/mdr-as200-blk/au
浏览 4
提问于2015-12-20
得票数 1
回答已采纳
2
回答
无法
使用
漂亮
的
汤和要求进行网络抓取
python
、
web-scraping
、
beautifulsoup
我试图
使用
bs4刮前两节值,即1*2和DOUBLECHANCE节值,并从这个网站请求我编写
的
代码:import urllib.request print(div.text) 当我跑
的
时候
浏览 2
提问于2020-04-10
得票数 0
回答已采纳
1
回答
如何加快硒
的
刮除(多处理)
python
、
multithreading
、
selenium
、
scrapy
、
multiprocessing
我试图从urls列表中抓取一个奇异
的
数据点到
动态
加载
的
站点
。我用
selenium
实现了一个刮板,但是太慢了。我试过
使用
scrapy,但意识到scrapy不适用于
动态
加载
的
站点
。我已经看到了与刮伤有关
的
文档--但这似乎是这样
的
: splash加载一个
动态
站点
,而scrapy解析来自一个
站点
的
数据;我有一个庞大
的
u
浏览 3
提问于2022-06-10
得票数 1
回答已采纳
1
回答
404在scrapy shell中
的
响应,在浏览器中
的
不同结果
python
、
scrapy
我正在抓取网站oddsportal,一个简单
的
标题文本查询返回“OddsPortal: Page”,但是在浏览器控制台中没有显示“OddsPortal: Page”。响应是:在我
的
终端中
浏览 1
提问于2019-07-13
得票数 0
2
回答
将呈现
的
页面从
Selenium
传递到Scrapy
python
、
selenium
、
scrapy
我想刮掉需要登录
的
Javascript页面。我想知道是否可以
使用
Selenium
加载并登录到页面,然后
Selenium
将呈现
的
代码传递给Scrapy进行数据提取。import scrapyfrom
selenium
.webdriver.common.keys import Keysfrom time import sle
浏览 28
提问于2019-07-24
得票数 1
3
回答
无法在产品页中找到链接
python
、
web-scraping
、
beautifulsoup
、
python-requests
我只是张贴一个单一链接
的
代码。soup = BeautifulSoup(
r
.content) print('href: ', a_tag
浏览 1
提问于2019-08-16
得票数 1
回答已采纳
1
回答
为什么
Selenium
脚本下一次
使用
不起作用
selenium
、
ide
、
selenium-ide
我对硒很陌生,所以如果可能的话,请澄清我
的
疑虑。为什么
selenium
IDE测试脚本在几天后不能工作,选择标准路径
的
替代方法是什么,这样我就可以
使用
该脚本了
浏览 5
提问于2014-10-17
得票数 0
回答已采纳
1
回答
将cookie从
selenium
获取到请求
python
、
selenium
、
python-requests
我可以用
selenium
登录一个网站,我可以收到所有的cookie。但之后我必须快速向该网站提交请求。同时,
selenium
的
速度非常慢。这就是我想用
selenium
接收cookie并通过request模块发送请求
的
原因。 我
的
Selenium
代码(首先,我登录网站,收到所有带有以下代码
的
cookie。)s = requests.Session() s.cookies.set(cookie[
浏览 31
提问于2020-10-17
得票数 1
1
回答
无法在Google工作表中
使用
IMPORTHTML或IMPORTXML从网站中刮取数据
html
、
google-apps-script
、
web-scraping
、
google-sheets
、
google-sheets-formula
我想刮从网站上
的
数据,如上面的截图(数据在红框)
使用
谷歌工作表。我尝试
使用
IMPORTHTML和IMPORTXML,但两者都无法工作(输出为空)。这是我
的
谷歌单子: 我不确定是否可以
使用
IMPORTHTML或IMPORTXML从这个网站(IMPORTHTML)中刮取数据。或者可以
使用
Google脚本来实现这一点?
浏览 7
提问于2021-08-20
得票数 1
回答已采纳
1
回答
Selenium
IDE表列总和
html
、
selenium
、
selenium-ide
我有一个表,其中
的
一列只包含金融值(正数和负数)。我一无所知!我对
Selenium
完全不熟悉。注意:该表没有任何id、CSS等(它来自一个旧
的
/简单
的
站点
),但是值是
动态
的
。
浏览 1
提问于2013-12-07
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Python中使用selenium进行动态爬虫
使用scrapy和selenium实现动态网页的分页爬取
使用R包networkD3绘制炫酷的动态关系网络
模拟浏览器操作——Selenium的使用
Python爬虫之旅之Selenium库的使用
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券