首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

Python BeautifulSoup 选择器无法找到对应元素(异步加载导致)

问题使用 Python BeautifulSoup 爬取一个股吧帖子发现某个样式无法找到,但是在网页中确实存在这个元素:网页使用 document.querySelector 可以正常查找:但是 Python...BeautifulSoup 找不到元素:网页标题: 华夏北京保障房REIT股吧_华夏北京保障房REIT分析讨论社区-东方财富网总页数: []核心部分代码import requestsfrom bs4...解决方案找到包含内容的 XHR 异步请求第一种思路在网页请求去找到包含内容的 XHR 异步请求,再用上述的方式进行请求。本方案并没有实践,因为大多数情况处理起来比较复杂,可以根据实际场景选择。...from selenium import webdriverfrom selenium.webdriver.common.by import Byfrom selenium.webdriver.support...EC.presence_of_element_located((By.CSS_SELECTOR, '#articlelistnew > div.pager > span > span > span > span')))# 获取元素的文本内容

19530
您找到你想要的搜索结果了吗?
是的
没有找到

python+selenium-元素定位

最近在学习web自动化测试,web自动化测试中元素定位是基本功也是很重要的一环,常用的元素定位方式网上都有很多的,一般采用强大的xpath方式来定位,xpath中又包含了很多其他方法。...当然,在学习元素定位之前,需要要对前端要有一定的了解,比如HTML,CSS 百度输入框 ?...input节点,它的特征是有一个以 wd开头的name属性,注意是starts,有个s,还有python+selenium的xpath中我只看到了starts-with的方法,不知道有没有ends-with...的方式,在java+selenium中是有ends-with的方法。...若百度的输入框元素没有唯一的id,也没有其他太多的信息时,我们选取它最近的一个父辈节点(这个节点含有唯一性的属性,比如唯一的id)再用绝对路径去找到它,当然能不用绝对路径的情况下尽量不用。

1.5K10

Python+Selenium笔记(六):元素定位

,例如文本框、按钮、标签、图标、复选框、下拉框、图片等,这些视觉元素或控件都被Selenium称为页面元素(webelements)。...想要让Selenium执行我们想要的操作,首先必须让Selenium识别需要操作的元素,就像人通过眼睛去识别一样,Selenium通过定位元素的方法去识别页面元素,可以通过ID、 name、class属性定位...(三)  元素定位 就如人工操作时,输入查询条件,然后点击【查询】按钮,前提是首先要知道这个是搜索框,这个是【查询】按钮一样,Selenium在执行功能操作之前,也要先识别这些元素。...下面是Selenium提供的8种find_element_by 方法,用于定位页面元素。...(2)   也可以用find_element(By.ID,'')这种写法,使用这种方式要先导入By模块 from selenium.webdriver.common.by import By (3)

2.7K80

selenium元素定位

一、selenium元素定位 ‍‍‍‍总结一下元素定位方式,因为项目中会用到,爬虫也会用到,也是为了方便自己和方便后续的同事,总结一下。...1.id定位 from selenium import webdriver from selenium.webdriver.common.by import By # 单个查找 find_element_by_id...用的相对多一些 ancestor 表示当前节点的祖先节点元素 child 表示当前节点的子元素 用的相对多一些 self 表示当前节点的自身元素 ancestor-or-self 表示当前节点的及它的祖先节点元素...descendant-or-self 表示当前节点的及它们的后代元素 following-sibling 表示当前节点的后序所有兄弟节点元素 preceding-sibling 表示当前节点的前面所有兄弟节点元素...following 表示当前节点的后序所有元素 preceding 表示当前节点的所有元素 7.xpath路径表达式 xpath 解释 备注 //div[last()] 显示文章中最后一个div

79220

Selenium无法定位元素之切换Iframe和切换窗口

---- 最近接了个项目,网页元素定位比以往的要全乎许多,多种多样的情况都遇到了,初级高级都用到了,最简单的初级比如直接通过id,name,class来定位获取,高级一点比如模糊查找,模糊匹配,前后查找等等...今天要说一点,关于页面内嵌套的元素查找,以前的项目比较单一,没有遇到什么特别棘手的,最近就遇到了,我能在Chrome浏览器F12开发者模式下通过Xpath或者CSS定位到这个元素,但是当我在运行在脚本中的时候...,搞了一上午(也应该多查下资料,不要在这里死磕)死活定位不到我要的元素,我就奇怪了,为什么会定位不到呢,是电脑出现问题还是脚本出现什么问题?...好了,那下面就来总结一下关于Selenium 切换Iframe和切换窗口(Java 和Python) Java进入Iframe: ? Python进入Iframe: ?...Python切换窗口:(直接切换) ? ----

2K30

Selenium 元素checkbox元素操作与元素等待

概念 显示等待是针对某一个元素进行相关等待判定; 隐式等待不针对某一个元素进行等待,全局元素等待。...By 用于元素定位 模块引用 from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.ui...隐式等待时间设定 5秒 #检测搜索框是否存在 try: print(ctime()) driver.find_element_by_css_selector("#kw22").send_keys("Python...元素定位方式 Webdriver简介 Appium连续滑动操作——九宫格滑动 Appium Android Toast元素识别 Android H5元素定位 Mac 环境Appium自动化测试环境搭建...众里寻他千百度—Appium Android 元素定位方式 Android自动化测试设备弹窗处理 Ubuntu+Docker+STF环境搭建 Mac OS环境搭建STF Python自动化日志收集 Appium

1.5K20

python selenium 鼠标移动到指定元素,并点击对应的元素

在使用selenium 爬去网页信息的时候,我们经常会遇到这样的一个问题。就是某一关键字或者元素,必须是鼠标悬浮上,才会出现,然后才能点击。那下面,我们就用python实现这一功能。...代码: import time from selenium.webdriver import ActionChains from selenium.webdriver.support import...expected_conditions as EC from selenium.webdriver.common.by import By ActionChains(short_driver).move_to_element...,driver就是你的实例化对象,elenment 就是你对元素进行定位,这里我是通过driver.find_element_by_link_text(),当然你可以通过xpath()进行定位。...我这里设置最大的等待时间为5秒,如果5秒过后,元素不出现,就会报错,当然这里,你还可以加上一个 try except 进行异常捕获。

5.1K30

python selenium-webdriver 元素操作之键盘操作

selenium 提供了比较完整的键盘操作,在使用的模拟键盘操作之前需要我们导入from selenium.webdriver.common.keys import Keys即可,然后就可以来模拟键盘操作...#导入Keys 模块,然后我们看看Keys 模块定义了那些按键 from selenium.webdriver.common.keys import Keys 导入模块以后,我们可以看看具体的定义按键内容...#-*- coding:utf-8 -*- from selenium.webdriver.common.keys import Keys from selenium import webdriver...import Keys from selenium import webdriver import time driver = webdriver.Chrome() driver.maximize_window...上面的两个例子说明了使用组合键和单个按键来操作元素,因为按键的使用起来比较简单,主要是认识每个按键代表的意思,这样我们就可以顺利的使用按键

1.9K10

处理Mac 下 Python selenium webdriver 无法上传图片

Python + Selenium + Mac 上传文件图片 问题描述: selenium 提供的 send_keys() 方法,必须基于标签为 input 标签,才能上传文件; 而且哪怕是 input...pip install PyUserInput > pip intsall pyperclip 为什么要pyperclip 我尝试后发现PyUserInput 输入文件地址有个BUG,导致mac无法识别地址...贴代码: def send_pictures(self, loc, img_name, file): """ 上传图片 :param loc: 元素....format(file)) raise 总结: 这个方案其中仍然存在问题,还有一些需要注意的点 BUG: 1、在执行脚本前,需要确保输入法为英文状态,否则会导致输入地址无法跳转...需要注意的点: 在 Mac上必须打开安全性与隐私中的辅助功能完全控制 1、IDEA 2、PyCharm 3、Python Launcher 4、搜狗输入法 发布者:全栈程序员栈长,转载请注明出处

1.5K40

selenium webdriver——设置元素等待

如今大多数Web应用程序使用ajax技术,当浏览器在加载页面时,页面上的元素可能并不是同时被加载完成,这给定位元素的定位增加了困难, 如果因为在加载某个元素时延迟而造成ElementNotVisibleException...(不可见元素异常)的情况出现,那么就会降低自动化脚本的稳定性,设置元素等待可改善这种问题造成的不稳定。...WebDriver提供了两种类型的等待: 显示等待: 具体格式如下: from selenium import webdriver from selenium.webdriver.common.by import...By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions...#找到id 为dropdown1的父元素 WebDriverWait(dr, 10).until(lambda the_driver: the_driver.find_element_by_id(

1.2K10
领券