Java -如何使用Jsoup提取Google新闻标题和链接？

文章/答案/技术大牛

发布

1回答

java、jsoup

我是个新手，刚开始使用jsoup和html。我想知道如何从谷歌新闻首页的故事中提取标题和链接(如果可能的话)。下面是我的代码： try { doc = (org.jsoup.nodes.Document) Jsoup.connect("https:

浏览 0提问于2016-08-23得票数 0

回答已采纳

1回答

如何使用Jsoup返回字符串数组？

android、json、parsing、android-asynctask、jsoup

如何将我使用jsoup库提取的所有href链接存储到String中？然后将其全部显示在TextView中？我不知道如何使用AsyncTask和String Array，也不知道如何在从谷歌提取href链接时执行FOR循环。我不知道如何设置条件以使FOR循环停止。我的当前代码只返回最后一个href链接。package com.example.jsouptestar

浏览 2提问于2013-01-10得票数 0

回答已采纳

2回答

用Java从动态网站中提取链接

java、html-parsing、web-crawler、jsoup

我正在尝试从一个网站上提取所有的链接。我在以前的程序中使用了Jsoup来做这件事，这里的问题是“更多的内容”是通过按下more按钮生成的，它不会改变页面，它只是加载更多的内容，所以我不确定如何使用Java和Jsoup查看所有可用的链接。该网站是和我只是试图提取所有的链接到特定公司的文章，如微软。

浏览 2提问于2013-01-19得票数 1

回答已采纳

1回答

Market Samurai和Long Tail Pro如何处理检索关键字的前10个Google搜索结果？

google-api、google-search、google-search-api

我很想知道Market Samurai，Long Tail Pro和其他软件是如何处理检索谷歌搜索结果前10名的，而不是遇到限制的。这些软件包似乎使用用户自己的Google帐户。Google Custom Search将用户限制在每天100次查询(免费限制)，但人们倾向于每天对数百甚至数千个关键字进行关键字研究，并且不向Google支付任何额外费用。他们是否为这项服务支付了额外费用，是否使用了不同的API (也许是Adwords API?)或者他们正在抓取谷歌搜索结果页

浏览 1提问于2014-01-22得票数 4

1回答

用JSoup提取所有包含某个单词的链接？

java、html、parsing、jsoup

这可能是一个不清楚的问题，所以下面是代码和解释：http://google.com/example/hello http://google.com/example/certaindir/anothe

浏览 0提问于2012-06-11得票数 5

回答已采纳

2回答

JSOUP -从以前爬行的页面上找到的URL中的图片和文本

java、jsoup

转到一个网页(特别是google公开发布的页面，比如这个)，收集每个单元格中的所有href url链接。链接: https: //en.wikipara.org/wiki很明显我不想让爬虫增加空间和破坏URLS..。堆栈溢出只

浏览 2提问于2017-05-05得票数 1

回答已采纳

1回答

如何使用Jsoup从Android的多个相关网页中提取数据？

android、jsoup、web-scraping

嗯，我一直在开发一个应用程序来显示站点的新闻标题和内容。我能够从‘myagdikali.com/ pages /news/national/’中提取数据，但是这个页面中只有10篇文章，还有其他页面的链接，如1，2，3.就像myagdikali.com/category我需要知道的是，如何从/national_news下的每一个可能的页面中提取新闻？有可能使用Jsoup吗？，我可以提取<

浏览 1提问于2015-07-18得票数 0

回答已采纳

1回答

使用jsoup从godaddy中提取数据

java、html、parsing、jsoup

我正在使用Jsoup从Godaddy的网站中提取html。我想在下面提取这个特定的片段。我有两个最终网页的特定部分，它说“对不起，google.com已被占用”和HTML码本身。 import java.io.IOException;import org.jsoup.nodes.Document; importcheckAvail=1&

浏览 0提问于2018-07-29得票数 0

1回答

如何使用Snowflake UDF解析HTML

javascript、java、html、snowflake-cloud-data-platform、user-defined-functions

例如，我使用JS UDF得到以下错误：那么我如何使用Snowflake来解析HTML文档呢？

浏览 0提问于2021-06-18得票数 1

1回答

是否下载CSS、JS和图片？

java、html、parsing、html-parsing、jsoup

我计划使用JSoup。例如，我的问题是，如果load facebook.com是JSoup，就会下载CSS、JS和图片，这些都是页面的一部分。简单地说，JSoup是否加载资产，如链接样式表、JS、图像等？

浏览 3提问于2015-11-19得票数 1

回答已采纳

1回答

HttpAsyncClient和多线程Jsoup连接类有区别吗？

java、multithreading、web-scraping、jsoup、apache-httpasyncclient

我正在用Java实现一个web抓取器。在尝试了一些我要抓取的网站之后，我想使用Java中并发HTTP连接的最佳实践。我目前使用的是连接方式。

浏览 4提问于2018-01-17得票数 3

1回答

如何使用JSOUP获取第一个链接？

java、android、string、jsoup

我想使用Jsoup来提取google搜索结果上的第一个链接。例如，我在谷歌上搜索"apple“。我看到的第一个链接是www.apple.com/。如何返回第一个链接？我目前可以使用Jsoup提取所有链接： new Thread(new Runnable() { public void run()

浏览 13提问于2020-10-28得票数 1

2回答

从div标记中提取所有数字和罗马数字。

java、html、regex、jsoup、extract

我使用Java和Jsoup来提取div标记的内容。我只需要提取数字。String html = ""; Elements divs = document.select("div);输出是这样的 Adidas, 45-46 Nike, 25 shoes, phone, keyboard, 1–2, 4–5, 7, 9, 12, 13,

浏览 2提问于2016-04-26得票数 2

回答已采纳

1回答

JSOUP无法在Android Studio中提取动态生成的DOM内容

java、android

我使用JAVA on Android Studio使用JSOUP在web上提取电影信息(如图所示)。但我无法获得电影链接(如图所示)。请帮我找到一种方法，让链接突出显示在图片中。Document document = Jsoup.connect(strings).get()；元素el =document.select(“video.jw-video.jw-Jsoup.connect

浏览 0提问于2019-10-28得票数 0

1回答

使用jsoup提取https urls

java、web-crawler、jsoup

我有下面的代码，它使用jsoup从给定的页面中提取urls。import org.jsoup.Jsoup;import org.jsoup.nodes.Document;import org.jsoup.select.Elements; import java.io.IOExcep

浏览 4提问于2012-07-05得票数 0

回答已采纳

1回答

如何在java中使用Jsoup浏览网站

java、html-parsing、web-crawler、jsoup

如何在Jsoup中导航(如网络爬行)到不同的链接？对于这个例子，我已经完成了获取标题、链接和文本的基本操作。但我希望能够使用其中一个子链接，并转到该子链接的内部。例如，从google网页，我希望能够转到youtube页面，因为它是google中的一个子链接，一旦进入youtube，就可以选择另一个子链接，然后就可以抓取一个字符串。我怎样才能在Jsoup中做到这一点呢？import

浏览 0提问于2013-06-12得票数 1

4回答

获取google在java中的搜索结果

java、search

String url="http://www.google.com/search?q="; String key="java"; String query = String.format("%s",URLEncoder.encode

浏览 4提问于2013-12-24得票数 1

回答已采纳

1回答

在Java中创建一个具有HREF和HashMap链接名的java

java、url、hashmap、jsoup

因此，我有一个huuuge文件，其中有许多这样的HREFs和链接名。我知道我可以使用JSoup，但是如何(在java中)做到这一点呢？请帮帮忙？使用的代码:我试图使用以下代码： String linkT

浏览 2提问于2013-07-31得票数 0

回答已采纳

1回答

org.jsoup.HttpStatusException: HTTP错误获取URL。Status=503 (谷歌学者禁令)

connection、web-crawler、jsoup、http-status-code-503、google-crawlers

我的工作是爬虫，我必须从200-300谷歌奖学金的链接中提取数据。我有一个工作解析器，它从页面中获取数据(每个页面上有1-10个人配置文件，这是我查询的结果。)我正在提取适当的链接，转到另一个页面再做一次)。在运行我的程序时，我发现了上面的错误：我知道这与谷歌对机器人的简单保护有关。我

浏览 4提问于2015-05-16得票数 2

1回答

具有相对路径的打开url

java、url、web-crawler、jsoup

我正在使用Jsoup从一个网站中提取链接：Document doc; .userAgent("Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bo

浏览 1提问于2014-11-08得票数 0

回答已采纳

点击加载更多