我目前正在使用Selenium和PhantomJS与Python一起抓取呈现的网页。很容易检查HTML内容中是否存在某个单词(例如。),但是我有兴趣在页面中搜索包含值大于或等于某个值的if "example" in html属性的元素。
例如,最理想的做法是抓取一个站点列表,并保存具有CSS为元素提供z索引的页面,这个值异常大。所有内容都是构建的,除了呈现的页面的CSS爬行功能。有人对此有什么建议吗?
我试图将多个条目提交到登录/密码后面的into表单中。数据来自CSV。
在Selenium (python)中,当我的代码完成循环后,将打开一个全新的Chrome实例,其中包含一个新的配置文件,然后在进入CSV的下一行之前再次登录。
我不想将我的密码存储在python文件/CSV中,也不想通过立即登录10-20次来创建奇怪的流量。
是否有建议代码在同一Chrome实例中打开一个新窗口/选项卡,并在不启动新实例的情况下将数据输入移到CSV的下一行?
from selenium import webdriver
import time
from selenium.webdriver.common.
使用python中的selenium,我想单击一个html div容器,如果它包含一些单词,如果它找不到任何单词,脚本就必须退出。对于下面的代码,如果有一个div包含text列表中的一个单词,那么它是可以工作的,但是我怎样才能退出没有这些单词的地方呢?在下面的代码中,它执行order.click,因为它在for循环之外。我只想执行order.click(),如果找到单词,我只想进一步使用脚本break的其余部分。
text = ["Dog", "Cat", "Bird"]
for word in text:
tr
我正在用“美丽汤”抓取一个页面,输出包含显示为十六进制的非标准拉丁字符。
我在刮。它包含拼音单词,使用非标准拉丁字符(例如ǎ,ā)。我一直试图循环一系列包含拼音的链接,使用BeautifulSoup .string函数和utf-8编码输出这些单词。这个词在非标准字符的地方出现了十六进制。单词"hǎo“以"h\xc7\x8eo”的形式出现。我确信我在对它进行编码时做错了什么,但我不知道该修复什么。我试着先用utf-8解码,但我得到了一个错误,即元素没有解码函数。试图打印字符串而不进行编码会给我一个关于未定义字符的错误,我想,这是因为它们需要首先被编码。
from selenium
我是python和web scraping的新手。您的帮助我们将不胜感激。我在编程和练习方面是新手。我正在使用python和selenium进行web抓取。 我正在试着从事实上抓取数据。目标是找到过去24小时内发布的所有工作,并刮刮外部链接,这是在工作详细信息页面上与链接文本“申请公司网站”,标题,公司,名称,位置,工作描述。 我写了以下代码,但是它正确地获取了页面上的所有链接,然后当我试图打开每个链接时,它只打开了第一个链接。我怎样才能打开我一个接一个的链接。提前感谢,下面是我的代码示例: import time
from selenium import webdriver
from se
我正在开发一个selenium web驱动程序应用程序,在该应用程序中,将自动打开一个网页,该网页包含一个表,所以我的下一个目标是,我想复制(抓取)该表的第一行,并必须保存为csv文件,以实现它,我必须使用它?请任何人帮帮我。
代码:
from selenium import web driver
from web driver _manager. chrome import Chrome Driver Manager
import time
from selenium. web driver. chrome. options import Options
web = web driver.
目前,我正在我的python抓取项目中使用beautifulSoup。但是,在我需要抓取的页面中,我需要与javascript元素交互。所以我被迫使用selenium (我不太熟悉)。到目前为止,这是我的代码:
from selenium.webdriver import Firefox
from selenium.webdriver.firefox.options import Options
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expec
我想抓取链接的下一页:https://www.thetoptens.com/animals/,使用scrapy-selenium点击next按钮,但它抓取了链接的第一页。我也尝试过使用webdriver,但显示了相同的结果。 使用scrapy-selenium的代码: import scrapy
from scrapy_selenium import SeleniumRequest
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as
我刚开始在Python中使用Selenium,而且我在从web上抓取代码时遇到了困难。
我不想让任何人帮我修好它。我正在寻找一只手,了解问题可能是什么,以便我可以继续。
# inicializar el paketito selenium
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
f
我正在使用Selenium Python和BeautifulSoup来抓取数据。我需要的网站的html后,‘生活’按钮被点击。我正在获取要单击的按钮,但是新的HTML没有返回给我。我认为在按钮单击后,html会很快返回,所以我休眠了。但即便如此,它也只返回了类的空div 'Collapsible__contentInner‘。
from bs4 import BeautifulSoup
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.s
我的代码是基于浏览器自动化的selenium,web抓取。在这个概念中,我们需要给铬驱动程序路径。在windows中,路径使用反斜杠"\“。但是python不接受反斜杠。还有其他的可能吗?供您参考,我将我的代码和错误粘贴在下面。
from selenium import webdriver
from quotes_page.overall_selenium import Alltags
chrome=webdriver.Chrome(executable_path="C:\Users\ShanuMadhu\Desktop\python\chromedriver.exe"
我对这两个Python都是新手,这是我第一次尝试Selenium。我的目标是使我在工作中放的一些罚单自动化。我使用的边缘,它似乎是建立的页面使用角。我开始选择我的选择,但无论我做什么,我都不能选择它,我已经在这里搜索了关于这个问题的其他帖子,并尝试了我能找到的所有解决方案,但它仍然不起作用。这是一张我走多远的照片。
这是我的代码,我做错什么了?
from selenium import webdriver
from selenium.webdriver.edge.service import Service
from selenium.webdriver.edge.options i
我有一个angular web应用程序,我想用selenium & python测试一下,html文件是这样的:
<div ng-repeat="item in items">
<div ng-repeat="address in addresses">
bla
</div>
<div ng-repeat="address in addresses">
dodo
</div>
</div>
<div n