我在试着用HtmlUnit抓取this page。在Xml中，它显示“您当前浏览时关闭了JavaScript，这意味着您不能使用我们的搜索功能。”Java和 import java.io.IOException;import com
浏览 12提问于2020-06-16得票数 0
4回答
我正在尝试屏幕抓取一个网页(使用机械化)，它显示了一个网格页面的记录。我能够读取第一页中显示的值，但现在需要导航到下一页来读取适当的值。="javascript:__doPostBack('gvw_offices','Page$4')" >4</a></td>
<td><a href="javascript:__doPostBacka href="javascr
浏览 0提问于2009-03-21得票数 0
1回答
我还没有找到一个清晰而明显的建议来在HtmlUnit中模仿浏览器的“后退”按钮。你做过这件事吗？如果是这样的话，是怎么做的？我想到的最好的方法就是在当前页面上执行javascript：currentPage = (HtmlPage)result.getNewPage();
有没有一个建议的
浏览 0提问于2011-10-28得票数 5
回答已采纳
2回答
用Java从网页上抓取数据？
、、、、
我的理由是，最初是获取网页的链接，然后获取页面源代码，浏览@twitterhandle，然后将这些添加到队列中，以便稍后在构造消息时使用。
我查了一下网页来源，但我在网页上找不到twitter的名字。
浏览 0提问于2013-03-02得票数 1
回答已采纳
1回答
我做web抓取已经有几个月了，总是被用javascript加载数据的页面卡住。有没有实现这一目标的具体方法？
但就我而言，我还没有深入研究HTMLunit。那么你的建议是什么呢？我应该坚持使用HTMLunit，还是有其他好的方法(库)来实现javas
浏览 1提问于2013-06-06得票数 2
1回答
我正在尝试运行一个脚本来从站点中提取信息，但是当我将实际的网站与我的程序显示的站点进行比较时，发现两者并不相同。我不确定javascript是否是问题的一部分，我试着关闭它，它仍然可以工作，但我也注意到里面有很多javascript；网站不需要登录。也许是饼干？rv1.8.1.6) Gecko/20070725 Firefox/2.0.0.6").get();上面的代码是im
浏览 1提问于2012-08-26得票数 0
目前使用的是jsoup，我只能抓取前7个线程，因为其他线程会在几秒钟后加载。我试图让htmlunit加载整个页面，然后使用jsoup来抓取所有的线程标题。(5000);每当我将setJavascriptEnabled设置为true时，它不会出错，但是我仍然用jsoup得到了7个线程。
警告:脚本不是应用程序(类型：‘JavaScript
浏览 0提问于2020-02-10得票数 1
5回答
我需要从网站上抓取一些数据，因为这些数据不能通过他们的web服务获得。当我之前需要这样做时，我已经使用Apache的HTTP客户端库自己编写了Java代码，以便进行相关的HTTP调用来下载数据。通过在浏览器中单击相关屏幕，同时使用记录相应的HTTP调用，我找出了需要进行的相关调用。正如您可以想象的那样，这是一个相当单调乏味的过程，我想知道是否有工具可以实际生成与浏览器会话相对应的Java代码。我希望生成的代码不会像手动编写的代码那么漂亮，但我总是可以在事后清理它。Selenium是我知道的一种可能性，尽管我不确定它是否支持
浏览 0提问于2009-01-08得票数 6
1回答
页面是用javascript呈现的，所以简单的抓取是不可能的。我试过htmlunit，但它不工作(尝试了不同的浏览器版本..仍然没有运气)。一种方法是在java中嵌入way浏览器，但却没有任何成功？
有什么建议或其他选择吗？
浏览 2提问于2010-10-14得票数 2
基本上，我希望能够检索从基于JavaScript的浏览器脚本中创建的HTMl5画布图像数据。我想在一个屏幕刮擦式环境的上下文中，在纯Java代码中这样做。似乎符合某些要求。我将如何检索画布呈现的图像数据，以及HTMLUnit当前的画布实现是否完整(编写时的版本为2.13 )？注意到的两个(2) HTMlUnit类可能是：
com.gargoylesoftware.htmlunit.html.HtmlCanvas com.gargoylesoftware.html
浏览 2提问于2013-10-31得票数 0
回答已采纳
我想刮flashScore.com网页，这是完全呈现在访问中的Javascript。我使用HtmlUnit进行渲染，现在已经有了第一个问题，根本无法抓取页面。$HtmlUnitContextAction.run(JavaScriptEngine.java:949) ~[htmlunit-2.50.0.jar:2.50.0]
at net.sourceforge.htmlunit.corejs.javascript.Context.call(Context.java:59
浏览 459提问于2021-07-04得票数 0
2回答
当我在WebElement上调用click()方法时，我注意到它是一个void类型的方法。那么，HtmlUnitDriver是否包含在click()发生后呈现的更新后的页面？
浏览 1提问于2013-03-02得票数 1
2回答
不幸的是，这些方法不会运行浏览器(甚至是Android Webview )正常运行的任何javascript函数来检索网页源代码。我需要这些脚本中的一些正在检索的文本。从javascript调用中抓取html结果有什么具体的解决方案吗？一个例子绝对是一流的。
浏览 0提问于2012-06-19得票数 4
回答已采纳
我目前正在用HtmlUnit开发一些测试。它正在加载一个包含braintree.js (它们的表单加密库)的页面。我有一群人在跑，但我被困在它叫密码的地方。sjcl.random.addEntropy(ab, 1024, "crypto.getRandomValues"); })();
HtmlUnit我想HtmlUnit不包括密码。我自己能包括一个密码库吗？
浏览 4提问于2013-10-28得票数 3
回答已采纳
1回答
当我试图用{"id":"tournamentTable"}指定感兴趣的表时，它返回Nonetype。
我遗漏了什么，无法访问所需的表&其中的信息？
浏览 3提问于2016-01-31得票数 1
回答已采纳
3回答
屏幕抓取| Web抓取
、、、
有没有人能解释一下使用以下语言编写刮板的优缺点：Perl硒我也想知道在抓取时会面临什么样的问题，以及我应该如何处理它。(我使用的是htmlunit)
我只是为那些对这个话题略知一二的人寻找一些指点。
浏览 5提问于2010-12-16得票数 0
回答已采纳
1回答
解析网页
、、
问题是，当我用java加载页面并将其保存到文件中时，它不包含我需要的信息。当我单击页面上的“查看源”时，也没有任何信息。但是，当我下载页面(另存为)并用记事本打开它时，我能够找到我需要的东西。
浏览 4提问于2014-07-02得票数 2
回答已采纳
1回答
我也尝试过使用ElementTree，但是在读取链接时出现了一个错误，因为它使用了一些无效的符号(?)。如有任何帮助，将不胜感激！)
浏览 4提问于2016-01-13得票数 2
回答已采纳
我正试图解析一个网站，使用HtmlUnit和Jsoup，我面临着这个问题。我有不同的页面要解析，并且我将这个页面的链接存储在一个字符串数组中。我想循环数组的长度并解析每一页，并以这种方式进行。1)关于链接数组长度的循环；2)打开新的webclient；3)用getPage方法从链接创建新的webclient；4)解析和获取一些元素；5)关闭webclient；6)返回到2)。因此，我试图在for循环之外打开和关闭webClient。6)关闭网络客户端
它的速度要快得多，但我并没有像以前那样得到同样的结果。
浏览 5提问于2016-11-24得票数 0
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
腾讯云开发者
