首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

Python BeautifulSoup 选择器无法找到对应元素(异步加载导致)

问题使用 Python BeautifulSoup 爬取一个股吧帖子发现某个样式无法找到,但是在网页中确实存在这个元素:网页使用 document.querySelector 可以正常查找:但是 Python...BeautifulSoup 找不到元素:网页标题: 华夏北京保障房REIT股吧_华夏北京保障房REIT分析讨论社区-东方财富网总页数: []核心部分代码import requestsfrom bs4...通过断点查看返回的 content,其中确实不包含我们需要的样式选择器标签内容。解决方案找到包含内容的 XHR 异步请求第一种思路在网页请求去找到包含内容的 XHR 异步请求,再用上述的方式进行请求。...from selenium import webdriverfrom selenium.webdriver.common.by import Byfrom selenium.webdriver.support...EC.presence_of_element_located((By.CSS_SELECTOR, '#articlelistnew > div.pager > span > span > span > span')))# 获取元素的文本内容

17830
您找到你想要的搜索结果了吗?
是的
没有找到

python+selenium-元素定位

最近在学习web自动化测试,web自动化测试中元素定位是基本功也是很重要的一环,常用的元素定位方式网上都有很多的,一般采用强大的xpath方式来定位,xpath中又包含了很多其他方法。...("//input[strats-with(@name,'wd')]"),表示:找到一个input节点,它的特征是有一个以 wd开头的name属性,注意是starts,有个s,还有python+selenium...的xpath中我只看到了starts-with的方法,不知道有没有ends-with的方式,在java+selenium中是有ends-with的方法。...='form']/span[1]/input"),表示:这个元素是处于一个id属性为form的节点下的第一个span节点下的input。...若百度的输入框元素没有唯一的id,也没有其他太多的信息时,我们选取它最近的一个父辈节点(这个节点含有唯一性的属性,比如唯一的id)再用绝对路径去找到它,当然能不用绝对路径的情况下尽量不用。

1.5K10

Python+Selenium笔记(六):元素定位

,例如文本框、按钮、标签、图标、复选框、下拉框、图片等,这些视觉元素或控件都被Selenium称为页面元素(webelements)。...想要让Selenium执行我们想要的操作,首先必须让Selenium识别需要操作的元素,就像人通过眼睛去识别一样,Selenium通过定位元素的方法去识别页面元素,可以通过ID、 name、class属性定位...下面是Selenium提供的8种find_element_by 方法,用于定位页面元素。...方法 简单说明 find_element_by_id() 通过页面元素id来定位 find_element_by_name() 通过页面元素的name来定位 find_element_by_class_name...(2)   也可以用find_element(By.ID,'')这种写法,使用这种方式要先导入By模块 from selenium.webdriver.common.by import By (3)

2.7K80

selenium定位元素报错:‘WebDriver‘ object has no attribute ‘find_element_by_id

欢迎关注公众号:TestingStudio,学习更多测试开发必备技能 pycharm新建了一个项目,用于做web自动化测试,直接安装了selenium这个库,发现之前写的Selenium元素定位的代码运行之后会报错...接下来就是讨论有关于新版本后Selenium定位元素代码的新语法,大家后面别再踩这个坑了。...Selenium3版本的元素定位写法 inputTag = driver.find_element_by_id("value") # 利用ID定位 inputTags = driver.find_element_by_class_name...searchTag = driver.find_element_by_id("su") 在版本没有更新之前,通常情况下运行都是能够正确定位到对应的元素,但是Selenium经过版本升级之后,运行后会报错...4版本的Selenium已经不再支持上面的写法,我们需要导入其他方法,改变我们的元素定位写法: 引入By方法 from selenium.webdriver.common.by import By 新元素定位方法

4.5K00

通过自学python找到工作吗

首先,自学Python是能够找到相关工作的。...Python就业知识点扩展: Python发展可以说是如日中天,更多的人选择学习Python,也更多的人开始关注它,从这些关注度来看,我发现关注度最高的还是Python的就业前景是怎么样的,毕竟大家学习...Python都是为了以后能有好的工作,那么,Python就业到底靠不靠谱呢?...将Python作为主要开发语言的开发者数量逐年递增,这表明Python正在成为越来越多开发者的开发语言选择。...到此这篇关于通过自学python找到工作吗的文章就介绍到这了,更多相关python找到工作的条件内容请搜索ZaLou.Cn以前的文章或继续浏览下面的相关文章希望大家以后多多支持ZaLou.Cn!

1.2K20

Selenium无法定位元素之切换Iframe和切换窗口

---- 最近接了个项目,网页元素定位比以往的要全乎许多,多种多样的情况都遇到了,初级高级都用到了,最简单的初级比如直接通过id,name,class来定位获取,高级一点比如模糊查找,模糊匹配,前后查找等等...今天要说一点,关于页面内嵌套的元素查找,以前的项目比较单一,没有遇到什么特别棘手的,最近就遇到了,我能在Chrome浏览器F12开发者模式下通过Xpath或者CSS定位到这个元素,但是当我在运行在脚本中的时候...好了,那下面就来总结一下关于Selenium 切换Iframe和切换窗口(Java 和Python) Java进入Iframe: ? Python进入Iframe: ?...在测试中往往点击某些超链接的时候会在新的窗口打开一个网页,需要跳转到新的网页去进行测试,切换窗口通过记录 窗口句柄(WindowHandle),进行切换。 Java切换窗口: ?...Python切换窗口:(直接切换) ? ----

2K30

python selenium 鼠标移动到指定元素,并点击对应的元素

在使用selenium 爬去网页信息的时候,我们经常会遇到这样的一个问题。就是某一关键字或者元素,必须是鼠标悬浮上,才会出现,然后才能点击。那下面,我们就用python实现这一功能。...代码: import time from selenium.webdriver import ActionChains from selenium.webdriver.support import...expected_conditions as EC from selenium.webdriver.common.by import By ActionChains(short_driver).move_to_element...,driver就是你的实例化对象,elenment 就是你对元素进行定位,这里我是通过driver.find_element_by_link_text(),当然你可以通过xpath()进行定位。...我这里设置最大的等待时间为5秒,如果5秒过后,元素不出现,就会报错,当然这里,你还可以加上一个 try except 进行异常捕获。

5K30

Selenium+Python系列(二) - 元素定位那些事

定位元素 driver.find_element(By.ID,"kw") 3、根据xpath定位元素 driver.find_element(By.XPATH, '//*[@id="kw"]') 4、根据...css定位器定位元素 driver.find_element(By.CSS_SELECTOR, '#kw') 5、根据name属性值定位元素 driver.find_element(By.NAME, '...(By.LINK_TEXT, 'hao123') 8、根据部分链接文本定位元素 driver.find_element(By.PARTIAL_LINK_TEXT, 'hao') 9、根据标签名定位元素...四、值得关注的问题 1、举个栗子 # 这句运行直接报错 driver.find_element_by_id('kw').send_keys('python') # 这句就正常 driver.find_element...(By.ID,"kw").send_keys(u"久曲健 博客园") 2、为什么报错 来吧,还是直接看源代码学习,如下所示: 不难看出,最新版本只能通过find这种写法去写,已经不支持老版本写法。

76820

python selenium-webdriver 元素操作之键盘操作

selenium 提供了比较完整的键盘操作,在使用的模拟键盘操作之前需要我们导入from selenium.webdriver.common.keys import Keys即可,然后就可以来模拟键盘操作...#-*- coding:utf-8 -*- from selenium.webdriver.common.keys import Keys from selenium import webdriver...() driver.get("http://cn.bing.com/") driver.find_element_by_id('sb_form_q').send_keys('selenium') driver.find_element_by_id...("sb_form_go").send_keys(Keys.ENTER) #通过回车键来代替鼠标的左键 driver.quit() 这里我们可以看到跟鼠标的模拟效果是一样。...上面的两个例子说明了使用组合键和单个按键来操作元素,因为按键的使用起来比较简单,主要是认识每个按键代表的意思,这样我们就可以顺利的使用按键

1.9K10
领券