首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

练习爬虫,想问一下这个xpath语句为啥找不到元素,感谢大佬!

大家好,是皮皮。...一、前言 前几天在Python钻石交流群【萤火】问了一个Python网络爬虫问题,下图是截图: 下图是报错截图: 二、实现过程 这里【error】给了一个代码,如下所示,满足粉丝需求: 用selenium...其实他匹配规则是可以拿到数据,只不过用jupyter运行selenium时候容易出问题,也不推荐。 起码用其他编译器来看,应该都可以实现! 三、总结 大家好,是皮皮。...这篇文章主要盘点了一个Python网络爬虫问题,文中针对该问题给出了具体解析和代码实现,帮助粉丝顺利解决了问题。...最后感谢粉丝【萤火】提问,感谢【此类生物】、【瑜亮老师】、【error】给出思路和代码解析,感谢【冫马讠成】、【猫药师Kelly】、【dcpeng】等人参与学习交流。

36610
您找到你想要的搜索结果了吗?
是的
没有找到

xpath定位随机元素之starts-with用法

相信有一部分朋友在做UI自动化时候,会遇到有些元素,明明这次定位到之后,到时重新进入页面,里面的元素值就变样了。...下面我们来看看如何定位随机生成元素~~ starts-with 如图,这个是我们公司项目,在处理一个勾选框时候,里面的id元素是随机生成,我们可以使用xapth中提供starts-with方法...,首先定位到 li 这个标签下,然后找到id元素,可以看到id后面的那串数字都是随机生成,每次进入页面都不一样,但是发现前面的“cascader-menu”内容是固定,因此我们可以使用starts-with...找元素内容从“cascader-menu”开始元素 ends-with xpath中也提供了ends-with方法,使用方法跟starts-with相同,它是以某字符串结尾元素。...conatins //div[1]/div/div[3]//li[contains(@id, "cascader-menu")] [1] 使用xpathcontains方法,也是可以~大家可以根据需要结合使用

1.5K10

Selenium WebDriver找不到元素三种情况

今天抽点时间总结下Selenium WebDriver找不到元素情况。 当然这里说是css或者XPath都没写错,定位准确,也并非使用了不稳定定位语句。...在当前页面找不到这个元素了,但是你自己手动复制到页面开发者工具上查看明明有啊,为啥在代码里面就找不到了呢?...这时,你还可能会问“可是明明元素就在那里,没有变,甚至是回退回来,页面都没有变,怎么会说是新页面?”。...就使用了一个循环,但是最开始没细看,直接循环成了元素,到新页面验证完成之后又返回原来页面继续定位,发现定位不了了;这时才想起来不应该循环元素,应该循环元素个数,在这个循环过程中再来定位获取元素...情况二:iframe原因定位不到元素需要切换Iframe 【参考此文】 这种情况一般发生在有内嵌iframe情况下,需要切换一下iframe 另外注意是有的页面会有多个iframe,找不到元素同样是没有切换

5K50

Xpath、Jsoup、Xsoup(Java爬虫之二)

Xpath说起 什么是Xpath XPath是W3C一个标准。它最主要目的是为了在XML1.0或XML1.1文档节点树中定位节点所设计。...XPath是一种表达式语言,它返回值可能是节点,节点集合,原子值,以及节点和原子值混合等。...注释:假如路径起始于正斜杠( / ),则此路径始终代表到某元素绝对路径! bookstore/book 选取属于 bookstore 元素所有 book 元素。.../bookstore/book[price>35.00]/title 选取 bookstore 元素 book 元素所有 title 元素,且其中 price 元素值须大于 35.00。...)小于n,比如:td:lt(3) 表示小于三列元素 :gt(n):查找哪些元素同级索引值大于n,比如: div p:gt(2)表示哪些div中有包含2个以上p元素 :eq(n): 查找哪些元素同级索引值与

1.3K20

为什么不要轻易使用 Chrome 复制 XPath

有一些同学在写爬虫时候,喜欢在Chrome 开发者工具里面直接复制 XPath,如下图所示: ? 他们觉得这样复制出来 XPath 虽然长了点,但是工作一切正常,所以频繁使用。...因为它给出结果仅作参考,有时候并不能让你提取出数据。我们来看一个例子。 ? 这是一个非常简单HTML 页面,页面中有一个表格,表格有一列叫做电话。现在想把这里面的5个电话提取出来。...如果直接使用 Chrome 复制 XPath 功能,我们可以得到下面这个 XPath: /html/body/div/table/tbody/tr[3]/td[4] 这实际上对应了刘小三这一行电话字段...大家可以看到,数据就在网页源代码里面,那为什么我们在Chrome 上面通过 XPath Helper 就能提取数据,而用 requests 就无法提取数据?...你应该首先检查你需要数据是不是在真正源代码里面,然后再来确定是写 XPath 还是抓接口。 如果是写 XPath,那么更应该以这个真正源代码为准,而不是开发者具里面的 HTML 代码。

97130

网友:那为什么找不到好工作?

但是为什么有很多人,学完了Python还是找不到好工作呢? 这里想先跟大家分享一个事实:企业招聘到合格程序员很难。 笔者与某大厂HR请教了大家很关心一些问题,在这里与大家分享。...应届生可放宽 凡找不到工作,大概率是编程能力没有达到企业用人最低标准。 打铁还得自身硬。只有通过企业面试才有机会当程序员。...还是拿谈恋爱做个类比,大部分女孩都会选择对自己最上心追求者,更何况是工作赚钱呢? 四、这里划重点!这句话绝对不准说! 千万不要说:“还在等xx公司offer。”...我们公司是被挑剩下吗?那个公司不录用才会选择我们?那我们干脆不要给Offer了,合适的人才一定会找到,为什么要等你挑拣?...正确说法是:还在综合看机会,需要衡量哪份工作跟我未来规划更符合,能够给我更多成长空间。 (骚年,尊重是相互。) 说到这里,你还会觉得Python开发者找不到工作,是Python错吗?

61000

为什么Github上找不到Docker源码

但Docker公司做法就比较过分了,相当于把Docker粉丝强行转变成自己客户。 这也是所罗门一再解释「原Docker用户不受影响」,但没人买账原因。...放眼业内,开源产品能赚钱寥寥无几。真要较真也就RedHat这种操作系统刚需技术,即有强大技术壁垒,也有多年市场沉淀,还算成功。但和Oracle、IBM这种公司比起来简直九牛一毛了。...Docker未来 容器是由 Linux 内核所提供具有特定隔离功能进程,容器技术能够让你对应用及其整个运行时环境(包括全部所需文件)一起进行打包或隔离。...从而让你在不同环境(如开发、测试和生产等环境)之间轻松迁移应用同时,还可保留应用全部功能。 容器化无疑是新VMware未来和方向。...还不知道怎么找Docker源码?那这么多字算是白写了。

3.4K20

XPath元素定位常用5种方法(相对路径)

一、XPath定位 定位 说明 //ul/* ul所有子元素 //input[2] 第2个input元素 //input[last() 最后一个input元素 input[position()< 3]...并且属性pwd值等于123456input元素 //ul/*[5] ul第五个子元素 //*[text()=‘Heading’ 任意包含Heading文本元素 //input[@*=‘SYS123456...二、XPath定位验证 1、验证XPath定位元素是否正确,可以在Google Chromeelements或console中进行验证 在需要定位页面,按F12后,切换至elements列下,按下Ctrl...+f键,输入XPath表达式 在需要定位页面,按F12后,切换至console列下,输入表达式。...语法是:$x("your_xpath_selector") 2、表达式正确,元素定位正确时,会查找出该元素,如下图: 3、未定位准确,找不到元素,查找结果为空,如图: 4、表达式不正确,无法正常识别情况

5K30

要移除元素

嗨,大家好,是袁厨(因为酷爱做饭,所以自己考取了厨师证)。之前一直看大家写博客,学到了很多东西。然后最近萌生了自己写想法,将自己知道分享给需要同学。...以后每天会为大家分享leetcode精选题目的各种题解和Python, JS, JQ, CSS, PHP, JAVA一些小Demo。请大家关注,一起交流学习吧。 题目描述 ?...我们来解析一下这个题目的做题思路,他含义就是让我们删除掉数组中元素,然后将数组后面的元素跟上来。最后返回删除掉元素数组长度即可。...比如数组长度为10,里面有2个目标值,我们最后返回长度 为8,但是返回8个元素,需要排在数组最前面。那么暴力解法的话则就需要两个for循环,一个用来找到删除,另一个用来更新数组。 ? ?...} return j; } } 总结 总的来说这个题目还算不错,算是打开了双指针大门,后面还会有很多双指针题目,大家快加我好友拉你进群,咱们一起刷题吧。

91930

【说站】XPath定位方法,chrome浏览器中查看html元素方法

经常用火车头采集器站长朋友,可能会遇到需要需要使用Xpath方式获取地址方法来采集网址。今天品自行说一下如何用Chrome浏览器查看html元素,进行XPath定位,找到XPath路径。...默认选择element面板,Elements 面板中可以通过 DOM 树形式查看所有页面元素,同时也能对这些页面元素进行所见即所得编辑。...找到需要定位元素所在位置,鼠标放在右侧元素所在位置代码所在处,代码会高亮显示,右键“Copy”》“Copy XPath”(也可以选择Copy Xpath,前者是相对路径,后者是绝对路径),下面是复制下来...//*[@id="nav"]/ul[1]/li[6]/a 这里简单说明一下,这句XPath代码意思是,定位到id="nav"div标签下面第一个ul标签下第六个li标签下a标签,具体看截图所示代码理解这句话...另外:貌似目前好多浏览器都有这个功能,比如搜狗浏览器就是在高速模式下打开网页》右键,选择“审查元素”,也可以打开搜狗浏览器类似开发者工具,然后定位好元素,右键“Copy”》“Copy XPath”也可以搞定这个问题

3.3K10

为什么软件工程师找不到工作?想分享四个“恐怖故事”

首先,这位面试工程师甚至都不能真正告诉,他为什么拒绝了这个候选人,他给出理由只不过是说“代码被过度设计了”,尽管实际上这段代买结构是完全正确,所有ES6操作符和短函数都是正确、有效。...再次,可以提供一些背景信息来解释了为什么我们候选人使用了这样一个未知MVC框架:这家招聘前端公司是一个寻找可重复流程机构,而首席工程师(不是前文中面试者)曾经向我抱怨,他们每次都要“为每个客户重新发明一套机制...因为拒绝这位候选人面试官没有看我笔记或视频采访记录,他没有考虑到为什么候选人使用这个框架,而只是按下了“拒绝”按钮。...他和人力资源部都不明白为什么没有人和他进一步保持联系。所以我给所有的相关人士都写了邮件,询问我们是否能完成这个招聘过程。 人力资源部门通常是这样一个存在——薪水底下,缺乏组织。...让我们叫这位面试官“乔恩”吧,很震惊如此优秀候选人居然被乔恩拒绝,所以我打了个电话,进行三方会谈。 乔恩在电话里解释了他为什么拒绝那个候选人原因,不过听起来挺可笑也不知道乔恩是不是认真的。

45130

为什么BERT不行?

当然了,bad case分析这块也聊了很多,多分析能发现其中端倪,知道模型需要什么,该怎么处理,再放一遍在这里,希望能好好阅读。...训练层面的分析 BERT训练其实挺多讲究,这里实验效果要保证对参数有一定要求,所以大家要多去观察训练过程暴露问题,训练过程其实就是要观测loss变化、验证集效果等问题,放置没学到、学飘了之类问题...类似的思路其实在这两篇文章里其实都有谈过: 心法利器[44] | 样本不均衡之我见 所以,很多时候你需要可能是更多地挖掘数据,从日志,从更多渠道去找,这个可能比增强本身要好。...这里背后逻辑可以参考这篇文章: 心法利器[45] | 模型需要信息提供够了吗 训练问题 针对训练问题,其实也就是一个经验问题了,多弄其实问题就会小很多,大家可以多去看各个论文使用超参,一般调差不多基本都不会有的...而文章本身输出并非是按照这个思路走,而是从一些大家经常问点深入来讨论,希望能从角度和风格来思考和回答问题。

1.2K20

WebDriver nth -- 完美结合css和xpath优点而来 附,常见元素定位方式总结

笔者至今还没有遇到过,ui调整以后脚本需要重新写情况, 除非新增维护页需新增代码, 至于已有脚本在前端调整之后为什么需要重写呢 ?...猜想下去你脚本可能是从头到尾xpath, 第一个元素便开始定位着每个元素绝对路径, 还有些同行, 至今仍使用Selenium IDE 导出脚本,当然这也是可以~    我们先说第一种弊端: 首先作为一个测试来说...so anyway , 言归正传:我们在写脚本时候,要懂得去规划和构思, 一个元素位置千变万化, 位置可能变,属性是不可能一变万变, so,在我们日常测试中一定要秉承, 代码最大程度可用性, 元素定位优先稳定...id /name /calss/css/xpath......还有很多就不一一列举,  这么多种方式都可以定位到这个元素, 那我们在定位时候就要去考虑怎么样最大限度采用稳定性最高定位方式使用在脚本中, 找到元素最不容易改变属性拿来定位, 在脚本中尽量多用方法

51130

为什么要写自己框架?

其实说白了框架就是使用别人造好轮子。在软件开发里面就是command+C/command+V。 先自我介绍一下,是一名信管专业大学生,从专业可以看出就是以后大家嘴里程序员。...曾几何时,觉得很兴奋,在如此短时间内就可以做到这样高度,让十分开心。开发出内容也完全符合校内应用需求。变成了一个别人眼中“大师”。 但事情并没有往想象地方发展。...框架用时间久了之后就发现了一个问题:真的有学习过吗?内容真的有用嘛,这些框架内东西能对今后有帮助吗,当然,这种想法不是一天形成,还有一个小故事。...但当有一天在讲授开发经验时候,当我当着大家面真的静下心来写需要展示一个类时候,以前用了这么多框架,发现在这么多人面前已经几乎写不出来一个正确类了!!...于是又开始新一轮学习,看大量书籍,有一天重新打开Yii框架在当时看起来很难理解代码时候发现:居然有点明白它工作原理,知道整体架构了!

1.3K20
领券