用HTMLUnit实现火库网页的网络抓取

文章/答案/技术大牛

发布

1回答

firebase、web-scraping、htmlunit

我使用htmlunit 2.36.0并尝试擦除：不知何故没有通过javascript执行动态内容获取。有没有人知道怎么修复它？

浏览 4提问于2019-10-23得票数 0

1回答

用Java在HtmlUnit中实现网页抓取

java、web-scraping、htmlunit

我刚刚开始接触抓取之类的东西，并且写了一段简单的代码。我正在尝试访问这个websie https://parimatch.com (这是一个投注网站)，我只想从它获得字符串形式的信息，就是它。下面是我的代码： public static void main(String[] args) throws IOException { HtmlPage page

浏览 17提问于2021-10-21得票数 0

回答已采纳

6回答

HtmlUnit的替代方案

screen-scraping、web-crawler、htmlunit、headless-browser

到目前为止，我一直在研究可用的无头浏览器，发现HtmlUnit被广泛使用。与HtmlUnit相比，我们是否有任何替代HtmlUnit的可能优势？谢谢Nayn

浏览 3提问于2010-11-23得票数 20

回答已采纳

1回答

使用javascripts在页面上进行web抓取

java、parsing、web-scraping、htmlunit

我做web抓取已经有几个月了，总是被用javascript加载数据的页面卡住。有没有实现这一目标的具体方法？但就我而言，我还没有深入研究HTMLunit。那么你的建议是什么呢？我应该坚持使用HT

浏览 1提问于2013-06-06得票数 2

1回答

Selenium clickAt命令是否适用于无头浏览器？

selenium、selenium-webdriver、web-scraping、phantomjs、webautomation

我正在考虑用PhantomJS (或htmlunit)这样的无头浏览器来取代火狐，用selenium来进行网页抓取活动。我认为selenium中的clickAt命令依赖于页面图形呈现，它在PhantomJS中不起作用。有人能证实这一点吗？

浏览 4提问于2016-09-30得票数 1

2回答

使用Java从特定的URL获取整个web页面

java、http

我能用Java获取整个网页，包括CSS和图片吗？这基本上就是在浏览器中使用“另存为”操作时发生的事情。我可以使用任何免费的第三方库。HtmlUnit库似乎正在做我需要的事情。这就是我用它抓取整个网页的方法：HtmlPage page = webClient.getPage(new URL("..

浏览 1提问于2011-06-24得票数 1

5回答

我需要从网站上抓取一些数据，因为这些数据不能通过他们的web服务获得。当我之前需要这样做时，我已经使用Apache的HTTP客户端库自己编写了Java代码，以便进行相关的HTTP调用来下载数据。通过在浏览器中单击相关屏幕，同时使用记录相应的HTTP调用，我找出了需要进行的相关调用。正如您可以想象的那样，这是一个相当单调乏味的过程，我想知道是否有工具可以实际生成与浏览器会话相对应的Java代码。我希望生成的</

浏览 0提问于2009-01-08得票数 6

7回答

最好的Java HTTP库？

java、http

我想为学院项目用Java开发http客户端，它可以登录网站，从HTML数据中获取数据，完成表格的填写和发送。我不知道该使用哪个http库: Apache HTTP客户端-不要创建DOM模型，而是使用http重定向、多线程。

浏览 0提问于2010-09-12得票数 7

回答已采纳

6回答

网络抓取和网络抓取有什么不同？

search-engine、web-scraping、web-crawler

爬行和网络抓取有区别吗？如果有不同之处，为了收集一些网络数据来提供一个数据库，以便在定制的搜索引擎中使用，最好的方法是什么？

浏览 2提问于2010-12-02得票数 96

回答已采纳

1回答

解析网页

java、html、css

问题是，当我用java加载页面并将其保存到文件中时，它不包含我需要的信息。当我单击页面上的“查看源”时，也没有任何信息。但是，当我下载页面(另存为)并用记事本打开它时，我能够找到我需要的东西。简而言之，java加载的网页不同于我下载并使用记事本打开的网页。如何将页面加载到字符串中，使其看起来与我在计算机上下载的页面相同？

浏览 4提问于2014-07-02得票数 2

回答已采纳

2回答

用Java从网页上抓取数据？

java、twitter、web-scraping、bots、headless-browser

我正在为我的一个班级创建一个twitter机器人，以练习使用队列并构建我的简历。这是一个示例网页。我的理由是，最初是获取网页的链接，然后获取页面源代码，浏览@twitterhandle，然后将这些添加到队列中，以便稍后在构造消息时使用。我查了一下网页来源，但我在网页上找不到twitter的名字。

浏览 0提问于2013-03-02得票数 1

回答已采纳

10回答

使用Java进行Web抓取

java、web-scraping、frameworks

我找不到任何好的基于Java的web抓取API。我需要抓取的站点也不提供任何API；我想使用一些pageID遍历所有网页，并在它们的DOM树中提取HTML标题/其他内容。除了网络抓取之外，还有其他方法吗？

浏览 1提问于2010-07-08得票数 72

回答已采纳

1回答

Jaunt scraper能够抓取这个javascript站点吗？

java、web-scraping

我以前从来没有做过网络抓取，实际上就在3个小时前，我用谷歌搜索了网络抓取这个词，看看它是什么意思……这就是我在这个问题上的能力水平，但我有一个任务是从这个网站"betstars.uk“上搜集一些不同足球比赛的数字，从我所看到的来看，它是一个javascript网站(是吗?)这使得本已困难的任务对我来说更加困难，那么JAVA的JAVA可以完成这项工作吗?或者我需要其他东西？我之所以这样问，是因为为了避免花一个

浏览 0提问于2016-09-13得票数 1

5回答

如何使用Python将数据输入到网页以抓取结果输出？

python、scrape

我熟悉从网页抓取数据的BeautifulSoup和urllib2。但是，如果在返回我想要抓取的结果之前需要在页面中输入一个参数，该怎么办？我正在尝试使用这个网站获取两个地址之间的地理距离：我希望能够转到页面，输入两个地址，单击“显示”，然后提取“按乌鸦飞的距离”和“按陆路运输的距离”值，并将它们保存到字典中。有没有办法用Python把数据输入到网页中？

浏览 2提问于2011-08-13得票数 8

回答已采纳

1回答

使用Java (HTMLUnit)抓取网页，然后将结果写入mySQL数据库

java、mysql、html

我已经能够使用Java和HTMLUnit来抓取网页，但是我不确定如何才能将结果数据写入到远程托管服务器上的MySQL数据库中。如果可能，我还需要定期(可能一天一次)执行此操作，而不必手动运行程序。这是可能的吗?关于如何做到这一点，我能否得到任何指导，无论是否彻底？谢谢!

浏览 1提问于2010-07-21得票数 0

2回答

Xpath -如何获取包含在元素之间的数据，而不是元素本身

java、html、xhtml、xpath

我正在编写一个Java程序，它从网页中抓取链接，然后将它们存储在数据库中。不过，我还是有点问题。使用HTMLUnit，我写了以下代码：它返回正确的锚元素，但我只需要href属性中包含的实际路径，而不是整个内容。如何做到这一点，以及如何获取节点之间包含的数据： <a href

浏览 2提问于2010-07-22得票数 0

回答已采纳

1回答

有没有任何快速的方法来刮一个有无限滚动的网站？

python、web-scraping

我正在尝试使用python来抓取一个用无限滚动实现的网站。实际上，网络就是pinterest。我知道如何使用selenium来抓取具有无限滚动的web。但是，WebDriver基本上模仿了访问web的过程，而且速度慢得多，比使用BeautifulSoup和urllib进行抓取要慢很多。你知道有什么时间有效的方法来刮一个无限滚动的网页吗？谢谢。

浏览 0提问于2014-12-29得票数 0

回答已采纳

2回答

如何在java中使用Http、Socks4和Socks5代理？

java、proxy、httprequest

因此，我的问题如下：如果这是不可能的，那么我还可以使用哪些其他外部API？我是通过使用提供的无头浏览器来实现的，但是加载甚至简单的网页都需要时间，所以请您推荐给我其他API(如果有的话)，这些API可以提供快速加载网页的无头浏览器。我不想打开包含大量AJAX或Javascript代码的网页

浏览 2提问于2010-01-16得票数 5

回答已采纳

4回答

屏幕抓取网页，使用机械化显示数据页面

ruby、screen-scraping、paging、mechanize

我正在尝试屏幕抓取一个网页(使用机械化)，它显示了一个网格页面的记录。我能够读取第一页中显示的值，但现在需要导航到下一页来读取适当的值。如果不是，当href是回发而不是URL时，我们怎么能有这样的单击操作呢？

浏览 0提问于2009-03-21得票数 0

3回答

Web抓取只有一半的时间可以使用Jsoup

java、web-scraping、jsoup

我最近一直在尝试使用Java Jsoup库，试图更好地理解web抓取(从网站上提取数据)。但看起来我拼凑起来的代码只在部分时间内实现了功能。是我的代码有问题，还是有可能某些站点有措施来阻止web抓取？下面是完成所有“魔术”的类：import org.jsoup.*; public

浏览 1提问于2011-08-11得票数 0

点击加载更多