我刚刚开始接触抓取之类的东西，并且写了一段简单的代码。我正在尝试访问这个websie https://parimatch.com (这是一个投注网站)，我只想从它获得字符串形式的信息，就是它。
浏览 17提问于2021-10-21得票数 0
回答已采纳
3回答
我使用htmlunit从网页中抓取图像。我是htmlunit的初学者。我编码了，但不知道如何获取图像。下面是我的代码。import java.io.*;import com.gargoylesoftware.htmlunit.BrowserVersion;import com.gargoyles
浏览 1提问于2012-04-11得票数 1
回答已采纳
1回答
我正在尝试使用htmlunit进行网页抓取。这只是一种"hello world“式的程序。我不能执行它。import java.io.IOException;import com.gargoylesoftware.htmlunit.Page;
浏览 0提问于2012-06-27得票数 0
到目前为止，这还不是一个问题，但我们最近遇到了一个RSS提要，它是在onload事件中使用javascript动态创建的。= null) result += line;然而，在动态创建RSS的情况下，这是不够的，因为我们得到的只是一个HTML页面，说明必须打开javascript。我在想，我们需要一些嵌入式网页，但这看起来就像是用大锤敲坚果一样。编辑:在浏览RSS提要时关闭javascript之后，仍然返回XML格式的提要数据，这在某种程度上加剧了我的困惑。有人建议一
浏览 0提问于2013-11-19得票数 1
我正在使用HtmlUnit尝试抓取网页，因为它支持Javascript。(我更喜欢使用Jsoup，但不支持JS )。这显然可以在Neko中启用，但我使用的是HtmlUnit。有没有一种方法可以配置底层的Neko解析器，HTML单元正在使用它来启用这个特性？在尝试运行此代码时：HtmlPage page
浏览 3提问于2012-06-21得票数 0
回答已采纳
1回答
我做web抓取已经有几个月了，总是被用javascript加载数据的页面卡住。有没有实现这一目标的具体方法？
但就我而言，我还没有深入研究HTMLunit。那么你的建议是什么呢？我应该坚持使用HTMLunit，还是有其他好的方法(库)来实现javascrip
浏览 1提问于2013-06-06得票数 2
1回答
我使用htmlunit 2.36.0并尝试擦除：不知何故没有通过javascript执行动态内容获取。有没有人知道怎么修复它？
浏览 4提问于2019-10-23得票数 0
我正在考虑用PhantomJS (或htmlunit)这样的无头浏览器来取代火狐，用selenium来进行网页抓取活动。我认为selenium中的clickAt命令依赖于页面图形呈现，它在PhantomJS中不起作用。有人能证实这一点吗？
浏览 4提问于2016-09-30得票数 1
3回答
我正在使用Jericho和HtmlUnit来抓取一些网页。我想指定哪个接口应该用于HTTP连接。有没有办法在命令行或Java中做到这一点？
浏览 2提问于2013-06-06得票数 2
1回答
解析网页
、、
问题是，当我用java加载页面并将其保存到文件中时，它不包含我需要的信息。当我单击页面上的“查看源”时，也没有任何信息。但是，当我下载页面(另存为)并用记事本打开它时，我能够找到我需要的东西。简而言之，java加载的网页不同于我下载并使用记事本打开的网页。
如何将页面加载到字符串中，使其看起来与我在计算机上下载的页面相同？
浏览 4提问于2014-07-02得票数 2
回答已采纳
目前使用的是jsoup，我只能抓取前7个线程，因为其他线程会在几秒钟后加载。我试图让htmlunit加载整个页面，然后使用jsoup来抓取所有的线程标题。它不会出错，但是我仍然用jsoup得到了7个线程。
警告:脚本不是应用程序(类型：‘JavaScript /json’，语言：'')。正在跳过执行。(WebClient.java:419) at com.gargoylesoftware.htmlunit.WebClient.getPage ) (HtmlP
浏览 0提问于2020-02-10得票数 1
5回答
我需要从网站上抓取一些数据，因为这些数据不能通过他们的web服务获得。当我之前需要这样做时，我已经使用Apache的HTTP客户端库自己编写了Java代码，以便进行相关的HTTP调用来下载数据。通过在浏览器中单击相关屏幕，同时使用记录相应的HTTP调用，我找出了需要进行的相关调用。正如您可以想象的那样，这是一个相当单调乏味的过程，我想知道是否有工具可以实际生成与浏览器会话相对应的Java代码。我希望生成的代码不会像手动编写的代码那么漂亮，但我总是可以在事后清理它。Selenium是我知道
浏览 0提问于2009-01-08得票数 6
6回答
到目前为止，我一直在研究可用的无头浏览器，发现HtmlUnit被广泛使用。与HtmlUnit相比，我们是否有任何替代HtmlUnit的可能优势？
谢谢Nayn
浏览 3提问于2010-11-23得票数 20
回答已采纳
我有一个Java应用程序，该应用程序使用HtmlUnit 2.15连接到网页，并对其内容进行抓取。其中一些urls需要TLS，而其他urls则需要SSL。HtmlUnit允许您在获取页面时指定希望它使用的协议吗?
浏览 3提问于2014-10-15得票数 3
回答已采纳
我能用Java获取整个网页，包括CSS和图片吗？这基本上就是在浏览器中使用“另存为”操作时发生的事情。我可以使用任何免费的第三方库。HtmlUnit库似乎正在做我需要的事情。这就是我用它抓取整个网页的方法：HtmlPage page = webClient.getPage(new URL("..
浏览 1提问于2011-06-24得票数 1
10回答
我找不到任何好的基于Java的web抓取API。我需要抓取的站点也不提供任何API；我想使用一些pageID遍历所有网页，并在它们的DOM树中提取HTML标题/其他内容。除了网络抓取之外，还有其他方法吗？
浏览 1提问于2010-07-08得票数 72
回答已采纳
我目前正在尝试用HTMLunit做一个网页抓取程序。<init>(HTMLParser.java:342) at com.gargoylesoftware.htmlunit.DefaultPageCreator.createPa
浏览 20提问于2019-05-11得票数 1
1回答
我是Java新手，但我决定尝试让一个小项目成为现实。我正在尝试从一个网站上抓取一些网页，我的问题是，虽然我可以获得原始材料，但我无法将“检查元素”材料打印出来。我看过无数的视频，也在这里搜索过，但无论如何，我只能让一个程序打印出这个网页的原始材料。我正在尝试从一个表中获取信息，以便定价。该网页是"“。我的基本程序是：import java.net.MalformedURLExcepti
浏览 0提问于2018-01-08得票数 0
云服务器
对象存储
ICP备案
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号