开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

使用selenium抓取链接(Href)时出现问题；href="#“

使用selenium抓取链接(Href)时出现问题，可能是由于以下几个原因导致的：

页面加载问题：selenium在抓取链接时需要等待页面完全加载完成，如果页面加载速度较慢或存在异步加载的内容，可能会导致抓取链接失败。可以尝试使用selenium的等待方法，如显式等待或隐式等待，来确保页面加载完成后再进行链接抓取操作。
元素定位问题：抓取链接需要先定位到包含链接的元素，然后获取该元素的href属性值。如果元素定位不准确或定位到的元素不包含href属性，就无法正确获取链接。可以使用selenium提供的各种元素定位方法，如通过id、class、xpath等来定位到正确的元素。
链接属性问题：有些网页中的链接可能是通过JavaScript动态生成的，而selenium默认只能获取静态页面中的链接。如果遇到这种情况，可以尝试使用selenium的execute_script方法执行JavaScript代码，来获取动态生成的链接。
链接跳转问题：有些链接可能是通过JavaScript实现的跳转，而selenium默认只会获取当前页面的链接。如果需要获取跳转后的链接，可以使用selenium的get方法来模拟点击链接并跳转到目标页面，然后再获取链接。

综上所述，解决使用selenium抓取链接时出现问题的方法包括等待页面加载完成、准确定位元素、处理动态生成的链接、模拟点击跳转等。具体的实现方式可以根据具体情况进行调整和优化。

腾讯云相关产品和产品介绍链接地址：

腾讯云官网：https://cloud.tencent.com/
腾讯云云服务器（CVM）：https://cloud.tencent.com/product/cvm
腾讯云云数据库MySQL版：https://cloud.tencent.com/product/cdb_mysql
腾讯云云原生容器服务：https://cloud.tencent.com/product/tke
腾讯云CDN加速：https://cloud.tencent.com/product/cdn
腾讯云人工智能：https://cloud.tencent.com/product/ai
腾讯云物联网平台：https://cloud.tencent.com/product/iotexplorer
腾讯云移动开发：https://cloud.tencent.com/product/mobile
腾讯云对象存储（COS）：https://cloud.tencent.com/product/cos
腾讯云区块链服务：https://cloud.tencent.com/product/baas
腾讯云虚拟专用网络（VPC）：https://cloud.tencent.com/product/vpc

相关搜索:Python Selenium WebDriver。如何获取href链接？python selenium抓取href (来自网站的链接)Python抓取href链接 Selenium webdriver未单击Href链接从多个href列表中抓取python selenium 使用BeautifulSoup抓取href 在selenium python中通过href查找链接在使用Python和Selenium进行web抓取时，如何从单个页面获取所有href链接？如何使用lxml抓取表格和href链接？如何使用selenium-java点击href链接

相关搜索:

页面内容是否对你有帮助？

有帮助

没帮助

相关·内容

Python 网页抓取库和框架

Urllib 不容易使用，但可以帮助您处理身份验证、cookie、URL 编码和代理等。只有在需要对请求进行高级控制时才应该使用它。...使用 Selenium，您可以模拟鼠标和键盘操作、访问站点并抓取所需的内容。如何安装硒您需要满足两个要求才能使用 Selenium Web 驱动程序自动化浏览器。...在解析网页数据时， BeautifulSoup 是最受欢迎的选择。有趣的是，它很容易学习和掌握。使用 BeautifulSoup 解析网页时，即使页面 HTML 混乱复杂，也不会出现问题。...它会抓取 Scrapy 主页上的链接。...在这些方面，硒甚至可以单独使用。但是，当您期待开发复杂的网络爬虫或爬虫时，Scrapy 是可以使用的框架。

3.1K2 0

web爬虫项目实战-分类广告网站的数据抓取

今天我们使用Web抓取模块（如Selenium，Beautiful Soup和urllib）在Python中编写脚本来抓取一个分类广告网站Craigslist的数据。...主要通过浏览器访问网站Craigslist提取出搜索结果中的标题、链接等信息。 ? 首先我们先看下具体被抓取网站的样子： ?...search_distance=5&postal=94201&max_price=500 我们根据这个地址来看具体的代码编写过程，最后将完整的代码展示给大家：首先导入要使用的安装包： from selenium...，根据源码分析可知，链接是a标签中class为result-title hdrlnk的代码： ?...我们编写抽取超链接的方法extract_post_urls并使用BeautifulSoup实现： def extract_post_urls(self): url_list = [] html_page

1.7K3 0

selenium基础使用-3-异常问题汇总

1、封装一个函数，判断当前元素是否存在 from selenium.common.exceptions import NoSuchElementException def isElementExist(...链接正常情况下，直接通过如下方式获取即可 href_temp = browser.find_element_by_xpath('//*[@id="1"]/h3/a/@href') 但事实上，上述方法...selenium会报错，正确的应该为： href_answer = browser.find_element_by_xpath('//*[@id="1"]/h3/a') href_link = href_answer.get_attribute...span[2]').get_attribute('innerHTML') 5、通过find_element_by_class_name获取元素失败根据Inspect获取到class_name，当去抓取时报错无该元素...： best_answer = browser.find_element_by_class_name('best-text mb-10') 这是因为使用CSS选择器的时候不允许使用空格，需要将class_name

4702 0

一个简单的搜狗微信公众号案例

搜狗提供了微信公众号的链接，尽管里面只有10条最新文章数据，但是还是值得一抓的。...因为想要实现抓取不同的微信公众号的文章，所以采用了selenium来模拟浏览器操作，我们可以先通过搜索来获得一个类型的公众号的所有微信号。我这里为了方便，手动复制了几个微信号来做测试。...我们这里就直接使用selenium来点击进去。...href_list.append(href) 这里为了方便下一次使用窗口，节省浏览器内存占用，关闭当前窗口，然后切换到之前的窗口。...拿出来之后，我们就可以使用普通的requests来进行请求了。

1.2K1 0

使用Python去爬虫

如果是一个要实现大规模抓取任务的爬虫，最好是使用成熟的爬虫框架如Scrapy。...比较常见的比如抓取一个网站上的所有图片。如果把网站看成一棵树，而该网站的各个页面是树的各个节点，那么抓取所有图片就需要遍历所有节点（页面），并在每个节点（页面）上抓取该页面上的所有图片。...假设只选取以jpg结尾的图片 for p in pics: urllib.urlretrieve(p, str(picNum) + ".jpg") picNum += 1 # 抓取新的页面链接...cookie res = urllib2.urlopen(req) html = res.read() res.close() 复杂参数有些网页请求的参数特别复杂，比如百度搜索'python'时的请求链接是...但是如果是复杂的或者规模很大的爬虫，最好使用Scrapy之类的框架。最后要说的就是 selenium 是我们遇到困难时的好帮手。本文是笔者使用Python进行爬虫的一个简要记录，仅供大家参考。

1.5K2 0

左手用R右手Python系列之——表格数据抓取之道

在抓取数据时，很大一部分需求是抓取网页上的关系型表格。...@#") #### 关于网址转码，如果你不想使用函数进行编码转换，可以通过在线转码平台转码后赋值黏贴使用，但是这不是一个好习惯，在封装程序代码时无法自动化。...这样既没有API链接，又无法请求道完整网页怎么办呢？别怕，我们不是还有Selenium大法，不行我们就暴力抓取呀！本次使用Rselenium包，结合plantomjs浏览器来抓取网页。...HTML文档传送过来，这样我们就可以使用readHTMLTable函数或者read_table() 在XML包中，还有另外两个非常好用的高阶封装函数：一个用于抓取链接，一个用于抓取列表。...最后一个函数便是抓取网址链接的高级封装函数，因为在html中，网址的tag一般都比较固定，跳转的网址链接一般在标签的href属性中，图片链接一般在标签下的src属性内，比较好定位。

3.3K6 0

讲解selenium 获取href find_element_by_xpath

在Web开发和爬虫中，经常需要从网页中获取链接地址（href），而Selenium提供了各种方式来实现这个目标。...在本篇文章中，我将主要讲解使用Selenium的find_element_by_xpath方法来获取网页中的href属性值。什么是XPath？...使用find_element_by_xpath获取href以下是使用Selenium的find_element_by_xpath方法获取链接地址的示例代码：pythonCopy codefrom selenium...然后，使用driver.get方法打开目标网页。接下来，使用XPath表达式//a[@href]定位所有包含href属性的链接元素。...最后，我们可以打印出得到的链接地址，并可以根据需求进行后续处理。最后，调用driver.quit()方法关闭浏览器。当使用Selenium进行网页爬取或者测试时，常常需要获取网页中的链接地址。

5571 0

网页爬虫开发：使用Scala和PhantomJS访问知乎

引言随着大数据时代的到来，网页爬虫作为一种高效的数据收集工具，被广泛应用于互联网数据抓取和信息抽取。而知乎是一个知识分享平台，拥有大量的用户生成内容。...本文将介绍如何使用Scala编程语言结合PhantomJS无头浏览器，开发一个简单的网页爬虫，以访问并抓取知乎网站上的数据。...JavaScript渲染: 使用无头浏览器执行JavaScript。完整代码如下所示：import org.openqa.selenium.Byimport org.openqa.selenium....) { // 获取问题标题 val title = question.getText // 获取问题链接 val url = question.getAttribute("href...数据存储使用SBT运行你的Scala项目。爬虫将启动PhantomJS浏览器，访问知乎网站，并打印出页面上的问题标题和链接。根据需要，你可以将抓取的数据存储到文件、数据库或其他存储系统中。

1421 0

网页爬虫开发：使用Scala和PhantomJS访问知乎

随着大数据时代的到来，网页爬虫作为一种高效的数据收集工具，被广泛应用于互联网数据抓取和信息抽取。而知乎是一个知识分享平台，拥有大量的用户生成内容。...本文将介绍如何使用Scala编程语言结合PhantomJS无头浏览器，开发一个简单的网页爬虫，以访问并抓取知乎网站上的数据。...("href") println(s"问题标题: $title") println(s"问题链接: $url") // 随机等待时间，模拟用户行为 Thread.sleep...数据存储使用SBT运行你的Scala项目。爬虫将启动PhantomJS浏览器，访问知乎网站，并打印出页面上的问题标题和链接。根据需要，你可以将抓取的数据存储到文件、数据库或其他存储系统中。...例如，使用Scala的java.io包将数据写入到文本文件中。

921 0

21.9 Python 使用Selenium库

Selenium是一个自动化测试框架，主要用于Web应用程序的自动化测试。它可以模拟用户在浏览器中的操作，如打开网页、点击链接、填写表单等，并且可以在代码中实现条件判断、异常处理等功能。...该工具在使用时需要安装两个模块，首先读者需要自行安装selenium包，并且需下载与对应浏览器匹配的驱动程序。...此处本人的版本为112.0.5615.121（32 位）根据该版本下载对应的驱动程序，并将驱动程序放入到Google浏览器根目录下，如下图所示，此时的驱动就已经安装成功了；图片21.9.1 模拟打开页面当需要使用浏览器模拟时...，前进时可以调用driver.forward()函数实现，后退调用driver.back()函数，而刷新则可调用driver.refresh()函数，功能如下案例所示；from selenium import...except Exception: pass else: parser.print_help()运行上述代码，读者可观察输出效果，此时会自动抓取特定页面中的链接

2393 0

15.selenium_case02

# 抓取今日头条的新闻链接 from selenium import webdriver from selenium.webdriver.support.wait import WebDriverWait...article_title_click"]/a') ) for item in coin_links: print(item.text) print(item.get_attribute('href

2211 0

python 携程爬虫开发笔记

import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.wait import...WebDriverWait from selenium.webdriver.support import expected_conditions as EC from selenium.webdriver.common.action_chains...') print("-------"+titleNameHtml.get_text()) productName = titleNameHtml.get_text() #产品链接...productLink = titleNameHtml.a['href'] productLink = productLink[2:] productLink = "https...except: print('查找不到出游人数') commentNum = '' return { '名称':productName, '链接

1.8K1 0

左手用R右手Python系列——动态网页抓取与selenium驱动浏览器

我在今年年初写过一个实习僧网站的爬虫，那个是使用R语言中另一个基于selenium驱动的接口包——Rwebdriver来完成的。...#职位薪资 position.salary % xml_attr("data-salary") #职位详情链接...position.link % read_html() %>% xml_find_all('//div[@class="p_top"]/a') %>% xml_attr("href...内置有selenium服务器，需要本地启动） driver = webdriver.PhantomJS(desired_capabilities=dcap) 构建抓取函数 def getlaogou.../li/@data-salary')) myresult["position_link"].extend(result.xpath('//div[@class="p_top"]/a/@href

2.2K10 0

「Python爬虫系列讲解」八、Selenium 技术

本文主要介绍 Selenium Python API 技术，它以一种非常直观的方式来访问 Selenium WebDriver 的所有功能，包括定位元素、自动操作键盘鼠标、提交页面表单、抓取所需信息等。...Python 语言提供了 Selenium 扩展库，它是使用 Selenium WebDriver（网页驱动）来编写功能、验证测试的一个 API 接口。...1.1 安装 Selenium pip install selenium Selenium 安装成功之后，接下来需要调用浏览器进行定位或爬取信息，而使用浏览器时需要先安装浏览器驱动。...这也体现了 XPath 方法的一个优点，即当没有一个合适的 id 或 name 属性来定位所需要查找的元素时，可以使用 XPath 去定位这个绝对元素（但不建议定位绝对元素），或者定位一个有 id 或...当需要定位一个锚点标签内的链接文本（Link Text）时可以通过超链接文本定位元素的方法进行定位。

7K2 0

Selenium+PhantomJS抓取数据

Selenium在前面的一篇文章中说过是一种浏览器自动化测试的工具，可以利用浏览器的驱动去控制浏览器访问网站，从而模拟浏览行为抓取数据，这种方式可以抓到更多的数据，但是效率不是很高，而且浏览器的页面必须一直开着...最近看到了一个无页面的浏览器PhantomJS，访问网站效率高，速度快，无页面全后台抓取数据，而且可以和 Selenium结合使用个性化定制网站的数据抓取，下面会详细讲一下Selenium与PhantomJS...在vs2013中是如何抓取数据的，以携程网的酒店数据为例。...GoToUrl("http://hotels.ctrip.com/citylist"); 第三步先在浏览器中访问这个网址，观察网页的DOM结构的规律，去将所有的城市的酒店列表地址所在的元素获取到，也就是使用...list.Add(city); } } } 因为携程网的城市按字母排序的，而且切换字母时的数据就是在一个页面中

2623 0

Python动态网页爬虫—爬取京东商城

动态网页爬虫工具—Selenium和PhantomJS 2.1 Selenium简介 Selenium是一个Web自动化测试工具，可以用来操作一些浏览器驱动，以及使用一些headless(无图形用户界面...开始编码前的准备 3.1 网页分析网页地址：http://quotes.toscrape.com/js/ 这是一个看起来很整齐的网页，我的目的是抓取它的前几个标语。 ?...开始只展示部分书籍，只有当用户滑动浏览器时，才会将剩余的书籍展示出来，滑动代码： <div id="J_scroll_loading" class="...<em>selenium</em>定位“下一页”元素，并模拟点击要爬取200多本书籍的信息，不能在一页内就读取完成，要<em>使用</em><em>selenium</em>提供模拟点击功能，跳转多页爬取信息。...参考 [1] 什么是动态脚本 [2] Python爬虫,<em>使用</em>Python爬取动态网页-腾讯动漫(<em>Selenium</em>) [3] <em>selenium</em>控制滚轮滑动 [4] <em>selenium</em>元素定位与模拟点击事件

1.4K2 0

运用Python抓取二手房价格与信息的两种常用方法

最近房地产市场进一步收紧，多地地方政府出台各种收紧政策，以保证房地产健康发展，因此云朵君就想到运用Python网络爬虫，抓取部分房产信息，了解下最近房地产的情况。 ?...(region.text) 本次使用BeautifulSoup解析网页数据，获取region_href及对应行政区域名称region_name。...data.shape >>> (6027, 13) Selenium模拟浏览器由于此网站监控较为严格，可利用selenium模拟浏览器一定程度上规避反爬机制。...from selenium.webdriver.common.by import By from selenium.webdriver.support import expected_conditions...profile.managed_default_content_setting.images": 2} chrome_options.add_experimental_option("prefs", prefs) # 使用

5343 0

房天下数据爬取及简单数据分析

02|目标网页分析：通过查看网页，我们知道目标数据存储在17页中，这就不是普通的静态网页爬取，这种需要翻页的数据爬取，我们一般有两种方法：一是通过修改url参数进行网页的切换，二是通过调用selenium...上面两个截图一个是17页，一个是9页对应的url，我们发现在参数上并没有明确的规律，看来利用修改参数的方法是行不通了，只能使用selenium,在使用selenium实现的过程中，我无意间发现了事情：...在进行元素审查时，我发现页面对应的href，即链接网站是有规律的，而且不是那么杂乱无章的，我就把href里面的对应链接粘贴到搜索框，发现真能跳转到相应的页面，看来是不需要使用selenium了，用修改参数的方法进行循环即可...lxml解析方式 #开始抓取楼盘名称的循环 first=soup. find_all(class_='nlcd_name')#抓取class属性为=“nlcd_name”对应的内容...print (i,len(a_name))#打印出每一次循环以后a_name列表的长度，每一次循环对应一页的内容，该长度代表每一页抓取到的数量 #开始抓取楼盘地处区域的循环

1.6K8 1

十.网络爬虫之Selenium爬取在线百科知识万字详解（NLP语料构造必备）

Wikipedia先从列表页面分别获取20国集团（简称G20）各国家的链接，再依次进行网页分析和信息爬取；百度百科调用Selenium自动操作，输入各种编程语言名，再进行访问定位爬取；互动百科采用分析网页的链接...url，再去到不同的景点进行分析及信息抓取。...China 同时，e.get_attribute(“href”)表示获取节点属性href对应的属性值，即“/wiki/China...#爬取链接 for e in elem: print(e.text) print(e.get_attribute("href")) name.append(e.text)...本小节将讲解一个爬取互动百科最热门的十个编程语言页面的摘要信息，通过该实例加深读者使用Selenium爬虫技术的印象，更加深入地剖析网络数据爬取的分析技巧。

1.5K2 0

Python数据科学（五）- 数据处理和数据采集1.处理不同格式的数据2.网络爬虫3.小试牛刀

xlwt存入Excel Python可以做哪些好玩的事之自动刷票 Selenium与PhantomJS 使用Selenium抓取QQ空间好友说说 Selenium 的使用 3.小试牛刀说了那么多理论性的东西...newsary.append({'title': news.select('a')[0].text, 'url':news.select('a')[0]['href...']}) # 分别获取超链接中文本信息和href属性,即地址 newdf = pandas.DataFrame(newsary) # 创建一个DataFrame newsdf.to_excel('news.xlsx...') # 输出到excel表格 print(newsary[0]) 2.抓取房天下房价信息并存储获取房子对应的链接通过获取的链接进去房子详情页面 import requests import...import BeautifulSoup from fake_useragent import UserAgent ua_list = UserAgent() # 设置user-agent列表,每次请求时，

1.2K3 0

点击加载更多

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭