腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(1383)
视频
沙龙
1
回答
BeautifulSoup
Python
Selenium
-
在
抓取
网站
之前
等待
tweet
加载
python
、
python-3.x
、
selenium
、
beautifulsoup
我试图
抓取
一个
网站
来提取
tweet
链接(特别是在这种情况下的DW ),但我无法获得任何数据,因为
tweet
不是立即
加载
的,所以请求在有时间
加载
之前
执行。
在
使用这两个选项后,我尝试使用
Selenium
在
本地
加载
网页,并让它有时间
加载
,但我似乎无法使其工作。我相信使用硒可以做到这一点。0"))) pass
浏览 18
提问于2021-04-29
得票数 1
回答已采纳
1
回答
如何在点击更多按钮后
抓取
网站
数据
python
、
selenium
、
web-scraping
、
beautifulsoup
我正在尝试使用BS4 +
selenium
学习web
抓取
。
网站
链接为 from
selenium
import webdriver from bs4 import
BeautifulSoup</e
浏览 4
提问于2017-06-20
得票数 0
4
回答
Bs4选择器:用美汤刮亚马逊
python
、
web-scraping
、
beautifulsoup
我试图刮一个
网站
,有链接到亚马逊与
Python
使用这些框架-硒,美丽的汤。这是针对第一个产品的,稍后我将对此进行迭代 from bs4 import
BeautifulSoup
import time first_article.click()soup =
Be
浏览 50
提问于2018-06-08
得票数 0
回答已采纳
1
回答
使用
Python
对页面和浏览器扩展数据进行with
抓取
python
、
html
我正在尝试获取网页的文本数据,就像它在我的浏览器上的样子一样。我的问题是,我还使用了一个网页的扩展,它的给定数据(由于它而显示的文本)也要被收集。我知道urllib,但它只收集正常的网页数据,而不是扩展生成的数据。那么,如何收集这些数据有什么帮助吗?另外,我想问的是,这是否可能?
浏览 12
提问于2020-08-15
得票数 0
1
回答
为什么我的网络
抓取
没有返回任何东西?
python
、
web-scraping
我对
python
上的web
抓取
是个新手。我有问题,当我运行我的代码,返回是白色空白,但它不是错误。我只是做了与课程相同的代码,但它对我不起作用 import urllib.request def __urllib.request.urlopen(self.site) parser = 'html.parser' sp =
Beautif
浏览 22
提问于2020-08-21
得票数 0
1
回答
抓取
网站
时缺少HTML元素。
Python
python
、
html
、
selenium
、
web-scraping
、
beautifulsoup
我正在尝试使用bs4和
Selenium
从
网站
中提取HREF。但是,当我使用Beautiful解析HTML时,我要查找的元素就会丢失。当我稍后尝试搜索它们时,我只会得到NoneType对象。
浏览 2
提问于2020-11-16
得票数 0
回答已采纳
2
回答
使用
Python
抓取
Javascript
javascript
、
python
、
xpath
、
web-scraping
、
beautifulsoup
我需要从以下
网站
抓取
等待
时间: 我尝试过通过带有lmxml的XPath和带有
BeautifulSoup
的DOM进行
抓取
。有人告诉我,因为这些值没有
加载
到源代码中,所以它们是用Javascript呈现的。因此,我研究了用
Python
抓取
JS元素。对我来说,
Selenium
看起来有点过头了,因为我不需要单击任何东西-内容
加载
,只是不是直接在我可以
抓取
的HTML中。PhantomJS需要用JS编写,我
浏览 2
提问于2014-02-23
得票数 0
1
回答
如何在
网站
中直接查询数据,而不是
等待
加载
抓取
?
python
、
selenium
、
web-scraping
、
beautifulsoup
我正在
抓取
一个超市的页面,但它包含了JavaScript的一些部分,我必须
等待
(4秒),因为
网站
必须查询一些数据并首先
加载
它才能完成超文本标记语言。我
在
Python
中使用
Beautifulsoup
和
Selenium
来完成这项任务。from
selenium
import webdriverfrom bs4 i
浏览 23
提问于2021-06-20
得票数 1
回答已采纳
2
回答
错误的NoSuchElementException导致基于硒的刮码失败。
python
、
html
、
selenium
我有一个
Python
代码,它废弃了不同的数据。例如,它从这个Website中删除了。NoSuchElementException-Encoding”:“标识”,“连接”:“关闭”,“内容-长度”:“95”,“内容-类型”:“应用程序/json”;charset=UTF-8",“主机”:“127.0.0.1:40581”,“用户-代理”:“
Python
post“:”{\“User\”User\“:\"link text\",\”sessionId“:\"a7a441f0-0f6a-11e8-ad3a-6121f
浏览 1
提问于2018-02-11
得票数 1
回答已采纳
1
回答
为什么我的Crawler会得到错误的HTML代码?
java
、
web-crawler
实际上,用jsoup库实现的爬虫代码可以工作,因为我的请求的结果是一些HTML代码,但是当我搜索一个明确写在
网站
上的单词时,没有找到它,因为一些div的来自于空的爬虫。然后我意识到,当您导航到
网站
并右键单击‘查看页面源’时,我得到了与相同的代码。当我将代码与进行比较时,右键单击“->”检查“”时,代码与“查看页面源”中的不同。
浏览 0
提问于2019-09-12
得票数 1
回答已采纳
1
回答
单击
selenium
python
按钮后
等待
类
加载
值
python
、
selenium
网站
加载
后,我成功地点击了一个按钮,这将在这个类中生成一些数字但不是立即,它会把它们一个接一个地放进去
Selenium
将立即获取放入类中的第一个值,但不
等待
添加其他值。
在
抓取
它
之前
,可以
等待
它
加载
其中的所有值。下面是我用来
抓取
值的
python</e
浏览 10
提问于2020-05-27
得票数 0
3
回答
用于web
抓取
的
Selenium
与
BeautifulSoup
javascript
、
python
、
selenium
、
beautifulsoup
我正在使用
Python
从一个
网站
上
抓取
内容。首先,我
在
Python
上使用了
BeautifulSoup
和Mechanize,但我看到
网站
上有一个通过JavaScript创建内容的按钮,所以我决定使用
Selenium
。既然我可以通过像driver.find_element_by_xpath这样的方法使用
Selenium
查找元素并获取它们的内容,那么当我可以使用
Selenium
做任何事情时,还有什么理由使用
Beau
浏览 1
提问于2013-07-03
得票数 53
回答已采纳
4
回答
JavaScript和HTML的
抓取
javascript
、
python
、
parsing
、
web-scraping
、
web-crawler
我正在做一个项目,其中我需要
抓取
几个
网站
,并从他们收集不同种类的信息。信息,如文字,链接,图像等。有什么办法吗?
浏览 8
提问于2014-03-31
得票数 5
回答已采纳
1
回答
为什么我不能访问一个
网站
的完整响应代码?
python-3.x
、
web-scraping
、
python-requests
、
xmlhttprequest
没有来自API的客户端HTML (XHR)可以利用,因此,我决定在刮的
网站
上,但是,
在
我从请求中得到的响应中看不到HTML代码的部分。下面是我感兴趣的
网站
的一部分: 然后,我提出了这个get请求,要求用BS刮它。termin/day/'r = requests.get(url,headers=headers,cookies=cd)然而,
在
答复中
浏览 0
提问于2021-05-30
得票数 0
回答已采纳
4
回答
您如何使用EC.presence_of_element_located((By.ID,“myDynamicElement”),除非指定类而不是ID
python
、
selenium
、
selenium-webdriver
、
webdriverwait
、
expected-condition
我试图使用
Python
来
抓取
一个
网站
,通过使用嵌入的javascript文件将数据呈现为HTML的响应来动态
加载
它的HTML。因此,如果仅使用
BeautifulSoup
,我将无法检索所需的数据,因为我的程序将在Javascript
加载
数据
之前
对其进行
抓取
。因此,我正在将
selenium
库集成到我的代码中,让我的程序
等待
某个元素被找到,然后它才会
抓取
网站
。
浏览 2
提问于2019-07-29
得票数 18
回答已采纳
2
回答
如何在
Python
中
抓取
动态
加载
的JavaScript页面?
python
底线前面:我想刮这个
网站
的工作:,但我一直得到的javascript基页。如果您检查页面,您可以看到作业列
在
h3标记中,但不管我做什么,作业都不会弹出。q=bossier%20city"soup =
BeautifulSoup
(html_text, "html.parser")for job in soup.find_all('h3'):
浏览 5
提问于2021-10-17
得票数 1
1
回答
python
selenium
网络
抓取
。` Mistake `循环中的错误。如何使代码
等待
页面
加载
并重试
python
、
selenium
、
selenium-webdriver
、
web-scraping
、
wait
我正在尝试使用
python
中的
selenium
从一个JavaScript
网站
上
抓取
一个表。该流程是使用
selenium
驱动程序通过
python
提交表单,然后检索
加载
的页面。由于
网站
速度较慢,有时为上一次选择而
加载
的表会保留在页面中,代码会
抓取
错误的数据,而不是
等待
新的表
加载
。我想要确保我
抓取
的表与我从下拉列表中选择的表一致。由于页面
加载
可能需要5
浏览 14
提问于2021-03-03
得票数 0
回答已采纳
1
回答
基于Javascript的网页
抓取
登录
javascript
、
python
、
selenium
、
mechanize
我正在尝试为sbrodds.com编写一个
抓取
引擎。不幸的是,我需要登录才能获得正确的数据。我研究了机械化和
selenium
,但遗憾的是,我
在
python
和web
抓取
方面做得很差,并且不了解如何使用它们。以下是登录框的Chrome inspect elements页面的屏幕截图: 有人可以提供建议,我应该使用什么技术来执行登录到这个
网站
内部的
Python
代码?最终的目标是将登录页面的数据
加载
到
BeautifulSoup
中。
浏览 3
提问于2015-12-10
得票数 1
1
回答
Selenium
等待
HTML元素更改
python
、
html
、
selenium
、
selenium-webdriver
我正试图从一个
网站
上刮取预订数据。进入现场后,我必须: 将默认日期范围(首先,站点显示默认日期范围的预订数据)更改为我要搜索的的日期范围,单击“刷新”按钮
等待
网站
更新页面上显示的结果。使用
Selenium
、
Python
和
BeautifulSoup
,当我执行
Selenium
命令更新日期范围的字段并单击“刷新”按钮时,当代码到达我使用
BeautifulSoup
提取HTML数据的行时,将提取默认
网站
日期范围的默认预订数据观察到,站点移动得太
浏览 3
提问于2021-08-04
得票数 1
回答已采纳
2
回答
如何正确地刮除基于JavaScript的站点?
python
、
python-3.x
、
selenium
、
geckodriver
from bs4 import
BeautifulSoup
from
selenium
import webdriver r = requests.get(url)print(
BeautifulSoup
我对此做
浏览 0
提问于2018-11-20
得票数 1
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
使用多个Python库开发网页爬虫(二)
这里有一份Python教程
python 爬虫爬取煎蛋网妹子图
python+selenium+requests爬取我的博客粉丝的名称
Python爬虫入门实战七:使用Selenium-以抓取QQ空间好友说说为例
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券