1回答
如何抓取动态内容加载的网站？
、、、、
如何使用动态内容加载来抓取网站，就像forbes.com文章一样，但不使用apache http客户端中的web驱动程序(它很慢)。我试过获取sitemap.xml，但他们的网站地图只包含最新的文章，我想从非常旧的文章中获取信息。此外，我想要一个更通用的解决方案，并且web驱动程序(我现在使用selenium和phantomJS )是特定于站点的，并且速度很慢。
浏览 4提问于2016-01-06得票数 0
我一直试图在网站"“上使用Beautifulsoup获取数据，但是当我获取数据时，标签之间的所有信息都丢失了。我可以确认数据在那里，检查网站，但是一旦我运行代码，它就不显示了。")print(all)
我将感谢任何帮助，因为我驾驶疯狂，其他网站的工作
浏览 42提问于2018-12-04得票数 2
回答已采纳
2回答
在Selenium ide中，有没有办法让我们为任何页面上提供的所有控件获取列表和处理程序？因此，如果我们得到这一点，我们可以使用RC逐个测试，当页面上有超过40个控件时，这将非常有帮助。
浏览 2提问于2009-12-08得票数 0
2回答
我使用selenium作为web抓取器，希望定位多个表，然后为每个表(通过循环)定位该表中的一个元素(无需再次遍历整个文档)。我正在使用Iwebelement.FindElements(By.XPath)，但一直出现错误，提示'element no longer connected to DOM‘IList[IWebElement] elementsB = driver.FindElements(B
浏览 2提问于2013-04-02得票数 0
我对selenium脚本编程非常陌生，在我的程序中，我想打印元素中存在的值。我找不到元素。有人能帮帮忙吗？我正在使用的网站：想要打印抵押贷款还款摘要部分的各种值。
浏览 150提问于2018-08-03得票数 -3
我一直在努力使用PhantomJS/Selenium/python-selenium将文件下载到文件系统。我能够轻松地在DOM中导航并单击、悬停等。然而，下载文件被证明是相当麻烦的。我用火狐和pyvirtualdisplay尝试了一种无头的方法，但效果也不好，而且速度慢得令人难以置信。我知道CasperJS允许下载文件。有人知道如何将CasperJS与Python集成，或者如何利用PhantomJS下载文件吗？非常感谢。
浏览 8提问于2014-09-10得票数 21
我正在使用Python 2.7.3，selenium 2.48.0上的Raspbian操作系统(无头设备)。Iceweasel/Firefox的版本是38.4。我像这样导入selenium：然后我给司机下定义：当我运行这段代码时，它运行了大约建议的解决方案之一是使用不同版本的Firefox/Iceweasel，但我找不到其他O
浏览 2提问于2015-12-10得票数 2
回答已采纳
我正在尝试使用通配符在selenium中向上导航DOM，使用如下所示的内容...ArrayList<WebElement> list = (ArrayList<WebElement>) driver.findElements(By.xpath("//div[contains(text这似乎只返回直接的父级，而不是所有的父级。我需要在DOM上遍历可变数量的节点。，而是更复杂的
浏览 1提问于2013-05-16得票数 1
回答已采纳
我试图在phantomjs.exe的DesiredCapabilities对象中设置可执行webDriver的路径。但是，它正在为指定的路径添加一个额外的路径。我猜它是从我的系统中获取的，但是如何防止它执行it.The代码，给出了如下内容：
DesiredCapabilities DesireCaps = new DesiredCapabilities()-2.1.1-linux-x86_64\bin\phantomjs<
浏览 7提问于2018-06-11得票数 0
2回答
我最近开始了Node应用程序的开发，它在控制器中使用Selenium从网页中获取项目列表，并希望将获取的条目列表作为JSON响应返回。exports.read_all_products = function (req, res) {
var driver = new webdriver.Builder().forBrowser('phantomjsproduct-slide-all')), 20000, 'Could not locate the element wi
浏览 4提问于2017-05-25得票数 0
回答已采纳
4回答
我正在使用Selenium的node.js应用程序接口对一系列网页运行PhantomJS实例。我用来在页面上执行操作的代码工作得很好，但似乎一次只能运行Selenium/PhantomJS的一个实例。这个函数从同一个模块中被多次调用，并在客户端处理分页的webshop中遍历页面(这就是为什么我需要Selenium/PhantomJS环境-从每个页面提取数据)。这
浏览 0提问于2015-07-16得票数 7
2回答
这听起来可能是一个相当基本的问题，但我找不到一个正确的答案我的问题。Selenium元素定位实现是如何工作的？例如：-通过ID执行findElement时，selenium(某些引擎或实现)是否遍历整个DOM？我想是的。
在这种情况下，findElement的ID比Xpath的findElement更快。因为如果我提供类似于//input[@id='']的Xp
浏览 4提问于2014-01-01得票数 1
回答已采纳
我正在尝试用selenium编写这样的应用程序。进入子页面，获取数据，返回，进入下一个子页面.不幸的是，我发现了一个exception
List<WebElement> rows = driver.findElements(By.className("detail-card__heading&
浏览 0提问于2018-01-23得票数 0
1回答
守则：from selenium import webdriver
driver.get('https://www.instagram.com\webdriver\phantomjs\webdriver.py"，第49行warnings.warn('Selenium support for PhantomJS已被废弃，请使用无头UserWarning: Sele
浏览 2提问于2019-10-12得票数 0
下面是设置它的代码：from selenium.webdriver.common.desired_capabilities importDesiredCapabilitiesdcap["phantomjs.page.settings.resourceTimeout"] = ("5000")
driver = webd
浏览 11提问于2014-04-20得票数 4
回答已采纳
PhantomJS在完全解析它们之后给我绝对的URL。我是通过走DOM来抓取萤火虫。但它给了我一个解析URL。我想得到相对的网址。List<WebElement> list = driver.findElements(By.tagName("a")); String/index.html" ></a>
浏览 3提问于2017-01-09得票数 1
回答已采纳
我试着用这段代码来做我的实验。我曾尝试制作一个系统，从网站获取数据，并使用拉格朗日插值方法创建多项式。我正在用Java研究Selenium来实现这一点。看看我开发了什么。package com.gustavo.seleniumTest;
import org.openqa.selenium.WebDriver;
public class se
浏览 29提问于2019-02-06得票数 1
回答已采纳
3回答
我有一个网络浏览器，还有一个Visual Studio的标签，基本上我想做的就是从另一个网页上抓取一个部分。我尝试使用WebClient.DownloadString和WebClient.DownloadFile，在JavaScript加载内容之前，这两个工具都给了我网页的源代码。我的下一个想法是使用web浏览器工具，在页面加载后调用webBrowser.DocumentText，但这并不起作用，它仍然给我提供了页面的原始源代码。有没有办法可以抓取JavaScript加载后的页面？
浏览 0提问于2014-06-18得票数 21
回答已采纳
我试图从eclipse IDE运行一个简单的GoogleSuggest示例，使用PhantomJS和GhostDriver for Java，但是它找不到任何使用Xpath的元素，如果我使用另一个驱动程序GhostDriver中是否支持Xpath，我的maven依赖中是否遗漏了什么？import java.util.List;
import org.o
浏览 0提问于2014-01-02得票数 1
使用selenium webdriver自动化组织web应用程序，它仅在IE浏览器中支持。当我在IE11浏览器控制台中验证Xpath时，我得到的错误是'$x' is undefined。
浏览 54提问于2019-05-04得票数 1
回答已采纳
云服务器
ICP备案
对象存储
云直播
腾讯会议
腾讯云开发者
