腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
如何
抓取
在
检查
元素
时
不存在
的
链接
python
、
selenium
、
web-scraping
我是新接触硒
的
..来自这个网站:"https://xangle.io/project/list“当我点击下面的任何一个
元素
时
,它会把我带到新
的
页面。 ? 我想把这些
元素
的
链接
都去掉。但问题是,当我
检查
那些寻找URLs
的
元素
时
,我
在
html中找不到任何URls。下面是html代码
的
截图: ? 我看了一下
元素<
浏览 26
提问于2020-04-18
得票数 1
回答已采纳
1
回答
使用,XPath
元素
不存在
,尽管Google
检查
元素
显示它确实存在
html
、
google-chrome
、
xpath
、
scrapy
根据Scrapy
的
响应,我遇到了一个问题,在这个问题中,我试图使用他们
的
XPath选择
的
元素
不存在
。然而,当我
在
Google上查看同一个页面
时
,
元素
确实存在。这个问题发生在使用LinkedIn高级搜索和获取结果页面之后
的
LinkedIn
抓取
上。我想刮掉结果容器中
的
链接
。例如:
在
搜索"John“
的
结果页面上,根据Google上
的<
浏览 2
提问于2015-07-08
得票数 0
回答已采纳
2
回答
灯塔
在
“跳到内容”
链接
上说“
链接
不可爬行”。
seo
、
lighthouse
在
我
的
站点上运行灯塔
检查
时
,我
在
SEO下收到以下错误:无法爬行
的
链接
是a#main-content,它是“跳到主要内容”
的
<em
浏览 0
提问于2020-12-13
得票数 8
1
回答
使用Rvest从网站中
抓取
网页
链接
html
、
r
、
web-scraping
、
rvest
我是r和Webscraping
的
新手。我目前正在
抓取
一个房地产网站(https://www.immobilienscout24.de/Suche/S-T/Wohnung-Miete/Rheinland-Pfalz/Koblenz?enteredFrom=one_step_search),但我没有设法
抓取
具体报价
的
链接
。 当使用下面的代码
时
,我得到了每个
链接
附加到网站,我不太确定我
如何
浏览 24
提问于2019-10-01
得票数 0
回答已采纳
1
回答
Selenium需要30美元才能实现
元素
id
不存在
。我该怎么办?
python-2.7
、
selenium
我正在使用Selenium来
抓取
/解析一个糟糕
的
网站(如果它不是很糟糕,我可能不会使用Selenium,而且是的,尊重robots.txt)。我正在使用find_element_by_id()从一个未知大小
的
表中读取一组
链接
,并使用顺序
元素
ids。我正在捕捉NoSuchElementException,告诉我我
在
表
的
末尾,没有其他
元素
可供选择。这可以顺利地遍历存在
的
元素
,但是当我请求
不存在
浏览 0
提问于2014-04-04
得票数 0
回答已采纳
1
回答
在
php中
抓取
图片
php
、
web-crawler
问题是
如何
获得ajax调用
的
源代码?这不是
抓取
的
,例如
如何
抓取
像这样
的
链接
上
的
图片? 如果您确实
检查
了
元素
,那么它将在图片所在
的
中间显示正确
的
代码。但是
如何
抓取
它呢?
如何
获取所有图片
的
源码?
浏览 0
提问于2014-03-05
得票数 1
2
回答
使用scrapy和xpath
抓取
::before和::after之间
的
HTML
元素
html
、
xpath
、
scrapy
我正在尝试用scrapy和xpath从python
的
网页中
抓取
一些
链接
,但是我想
抓取
的
元素
是介于::they和::after之间
的
,所以xpath看不到它们,因为它们
不存在
于HTML中,而是用javascript动态创建
的
。有没有办法去掉这些
元素
呢?<div class="well-white">...</div> <div class=
浏览 2
提问于2018-09-12
得票数 2
4
回答
如何
从一个网站中提取所有的url?
python
、
unix
我正在编写一个程序
在
Python中提取所有的网址从一个给定
的
网站。所有的网址都来自一个网站,而不是一个页面。因为我想我不是第一个想这样做的人,我想知道是否有现成
的
解决方案,或者如果我必须自己编写代码。
浏览 1
提问于2012-03-02
得票数 1
2
回答
我很难使用Beautiful Soup从NCBI网站上
抓取
数据
web-scraping
、
beautifulsoup
、
bioinformatics
、
ncbi
我无论
如何
也想不出
如何
使用漂亮
的
汤从网页中
抓取
孤立
的
源信息,比如: 我一直
在
尝试
检查
这个标记是否存在,当我知道它确实存在
时
,它总是返回
不存在
的
结果。如果我甚至不能验证它
的
存在,我就不知道
如何
抓取
它。
浏览 4
提问于2021-04-24
得票数 1
1
回答
scrapy不能爬行页面中
的
所有
链接
python
、
shell
、
xpath
、
scrapy
我正在尝试scrapy来
抓取
ajax网站。我
检查
页面的
元素
。它看起来是这样
的
:,所以我想提取与模式/存储/应用程序/详细信息
的
所有
链接
?id=我也尝试过//a/@href。也没有结果,但不知道出了什么事.现在,我可以
抓取
前120个
链接
与淀粉修改和“格
浏览 5
提问于2016-02-09
得票数 1
1
回答
Chromedp包:
如何
使用chromedp获取动态加载内容
的
网页
的
更新HTML源代码
go
、
web-scraping
、
web-crawler
、
headless-browser
我试图刮网页上
的
视频
链接
,有
链接
,这是通过“网页剪辑”服务,加载页面后加载数据产生
的
链接
。我想在加载完所有的JavaScripts和AJAX之后更新页面的HTML源(类似于我们
在
浏览器上“
检查
元素
”
的
时候)。
如何
通过chromedp包()做到这一点。它是一个用于GoLang
的
无头浏览器。我是一个网络
抓取
的
新手。 编辑:与
链接
中提到
的</e
浏览 89
提问于2017-08-29
得票数 2
回答已采纳
2
回答
如何
从Beautiful Soup获取URL?
javascript
、
python
、
html
、
beautifulsoup
、
html-parsing
我是Python
的
新手,正在尝试编写一个爬行程序;我想使用Beautiful Soup从BBC新闻中
抓取
一些数据。 <span>World</s
浏览 2
提问于2016-05-03
得票数 3
1
回答
从延迟加载
的
视频中
抓取
视频
链接
web-scraping
我正在尝试使用一个名为
的
包从页面中
抓取
视频,但是当页面加载
时
,该视频不会立即呈现,因此当我获得该页面的html代码
时
,video标记并
不存在
,但是如果我
在
浏览器中打开该页面并进行
检查
,它就会存在。
如何
在
抓取
视频之前等待页面加载视频?
浏览 7
提问于2018-07-21
得票数 0
1
回答
试着擦伤一段距离
python
、
html
、
beautifulsoup
、
screen-scraping
我一直
在
尝试使用Python中
的
漂亮汤从网站上
抓取
两个值,这给我带来了麻烦。以下是我正在
抓取
的
页面的网址:我试过: print(
浏览 3
提问于2020-09-04
得票数 0
回答已采纳
0
回答
BeautifulZoup,Selenium网络
抓取
javascript
、
python
、
selenium
我正在尝试从一个网站(www.hotpads.com)上
抓取
一些房产信息。我做错了什么?你能给我指点一下
如何
做这件事吗?请注意,我正在等待页面加载。如果我右击并查看
链接</
浏览 1
提问于2016-12-27
得票数 1
回答已采纳
1
回答
Watir不会选择/查找link
元素
watir
、
watir-webdriver
当我想通过以下语法找到锚(
链接
)
元素
时
,Watir似乎找不到它:如果我尝试
检查
链接
的
存在,它会说它
不存在
,尽管
链接
在那里。以下是导致此现象
的
原始源代码
的
链接
:感谢你
的
帮助
浏览 1
提问于2012-06-11
得票数 1
1
回答
如何
使用Scrapy获取带有javascript更改
的
抓取
数据?
javascript
、
python
、
web-scraping
、
scrapy
Javascript隐藏了一些
元素
,但是当我使用scrapy
抓取
数据
时
,这些
元素
会被
抓取
,就好像它们没有被Javascript隐藏一样。
链接
1:
链接
2: 例如:当我使用Scrapy和xpath (//div@id='productDetails'/ul@class='details'/li@id='add_to_cart_li'/a@id='add_
浏览 0
提问于2014-05-30
得票数 0
5
回答
一种高效
的
算法,用于将唯一
的
单词保存到文件中
php
、
file
、
unique
我目前所做
的
是,从URL解析文本,然后清理文本并按空格将其分解并保存到文件中。我发现最难
的
是,案例:从site.com/page1
抓取
单词并将唯一单词保存到文件中。
在
抓取
site.com/page2
时
,我需要
检查
每个单词是否已经
在
文件中,只有
在
不存在
时
才保存。 我
的
想法是,获取$word,并从文件中提取
浏览 1
提问于2012-04-10
得票数 1
回答已采纳
1
回答
如何
从API资源管理器中检索数据?
python
、
html
、
xml
、
api
、
web-scraping
我
的
问题更多
的
是
在
“概念”方面,因为我还没有任何代码显示。我基本上可以访问一个网站
的
API资源管理器,但是当我将一个特定
的
url放在API资源管理器中
时
所获得
的
信息与我打开一个带有相同网址
的
网页并“
检查
”
元素
时
得到
的
html信息不一样。老实说,我不知道
如何
检索我需要
的
数据,因为它们只存在于API资源管理器中,但不能通过web
抓取
浏览 5
提问于2017-09-04
得票数 0
回答已采纳
1
回答
由selenium打开
的
页面为什么与通过常规浏览器打开
的
页面不同
python
、
selenium
、
web-scraping
我
在
tripadvisor上练习数据
抓取
,我不明白为什么列表上
的
倒数第二项(第29项)中
的
最后一项有一个
链接
。
链接
到列表: 您可以
在
图片中看到被
检查
的
元素
有错误
的
链接
。
在
普通浏览器中没有这样
的
问题。
浏览 5
提问于2022-06-12
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
网站中的死链如何处理?
针对JavaScript的SEO优化指南
九月哥谈Java SE中子接口Set的TreeSet类在存储字符串和自定义对象时,分别是如何保证元素的唯一性?
推荐:手把手教你用Python进行Web抓取
手把手教你用Python进行Web抓取
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
活动推荐
运营活动
广告
关闭
领券