使用Java Jsoup抓取网站时出现问题，网站不是“滚动”
问题描述： 使用Java Jsoup抓取网站时出现问题，网站不是“滚动”。
解决方案：
- 确保Jsoup库已正确导入项目中，并且版本与项目要求兼容。
- 检查目标网站是否使用了JavaScript来实现滚动加载。如果是，Jsoup无法处理这种情况，因为它只能获取静态页面内容。可以考虑使用其他工具或库，如Selenium WebDriver，它可以模拟浏览器行为，包括滚动加载。
- 如果目标网站没有使用JavaScript来实现滚动加载，但仍然无法获取完整的页面内容，可能是因为Jsoup默认只获取页面的静态部分。可以尝试使用Jsoup的
.userAgent()方法设置一个合适的User-Agent，模拟浏览器访问，以获取完整的页面内容。 - 检查目标网站是否有反爬虫机制，如IP封禁、验证码等。如果是，需要进一步分析反爬虫机制并采取相应的解决方案，如使用代理IP、处理验证码等。
- 如果以上方法都无法解决问题，可以考虑联系网站管理员或开发人员，了解网站的具体情况，并寻求他们的帮助或解决方案。
注意事项：
- 在进行网站抓取时，应遵守相关法律法规和网站的使用规定，确保合法合规。
- 在使用第三方库或工具时，应注意其授权协议和使用限制，遵守相关规定。
推荐的腾讯云相关产品： 腾讯云提供了一系列与云计算相关的产品和服务，以下是一些推荐的产品和产品介绍链接地址：
- 云服务器（CVM）：提供弹性计算能力，可根据业务需求灵活调整配置和规模。了解更多：https://cloud.tencent.com/product/cvm
- 云数据库MySQL版（CDB）：提供高性能、可扩展的关系型数据库服务，适用于各种应用场景。了解更多：https://cloud.tencent.com/product/cdb_mysql
- 人工智能平台（AI Lab）：提供丰富的人工智能开发工具和服务，包括图像识别、语音识别、自然语言处理等。了解更多：https://cloud.tencent.com/product/ailab
- 云存储（COS）：提供安全可靠的对象存储服务，适用于各种数据存储和传输需求。了解更多：https://cloud.tencent.com/product/cos
请注意，以上推荐的产品仅为示例，具体选择应根据实际需求和项目要求进行评估和决策。
相关·内容
我有一个项目，要求我使用JSOUP进行网络抓取。我能够从我想要刮的网站主页上得到数据。但是，当我通过循环进入超链接并访问它而在页面中更深入地抓取时，我会得到以下错误：
java.io.IOException: Input is binary and unsupported
at org.jsoup.UncheckedIOException.<init>(UncheckedIOException.java:11)
at org.jsoup.parser.CharacterReader.<init>(CharacterReader.java:38)
浏览 9提问于2020-01-10得票数 2
2回答
如果页面具有无限滚动，我如何在java中获取页面的HTML？我现在正以这种方式抓取一页：
URL url = new URL(stringUrl);
URLConnection con = url.openConnection();
InputStream in = con.getInputStream();
String encoding = con.getContentEncoding();
encoding = encoding == null ? "UTF-8" : encoding;
String html = IOUtils.toString(in, encodin
浏览 1提问于2015-08-19得票数 2
回答已采纳
我试图用JSoup抓取一个站点(www.oddsportal.com)，但是我遇到了一个问题。
String url = "http://www.oddsportal.com/matches/";
Document doc = null;
System.out.println("Connecting to " + url + "...");
try {
doc = Jsoup.connect(url).get();
} catch (IOException e1) {
e1.printStackTrace();
}
当
浏览 4提问于2013-09-13得票数 1
我最近一直在尝试使用Java Jsoup库，试图更好地理解web抓取(从网站上提取数据)。但看起来我拼凑起来的代码只在部分时间内实现了功能。是我的代码有问题，还是有可能某些站点有措施来阻止web抓取？
下面是完成所有“魔术”的类：
import java.io.IOException;
import org.jsoup.*;
import org.jsoup.nodes.Document;
public class HTMLParser {
private Document d;
private String url;
private String content;
p
浏览 1提问于2011-08-11得票数 0
我正在开发一个从特定站点抓取数据的java程序。我使用jSoup作为java模块。
就是这个网站
我正在尝试在该网站上删除下面的示例数据。
bitflyer 144 14.17%
coinbase 121 11.89%
我试过这样做：
public static void main(String[] args) throws IOException {
try {
Document doc = Jsoup.connect(
"http://data.bitcoinity.org/markets/tradespm/10m?c=e&t=a&
浏览 67提问于2018-06-02得票数 -1
回答已采纳
1回答
我必须从证券交易所网站上获取股票价格数据，并将其存储在SQL数据库中。目前，我正在通过excel进行此过程。我们在MS中获取网站的数据，然后使用宏创建.csv文件，然后通过程序在我们的.csv数据库中检索这些.csv文件的数据。
现在，我该做的是
首先，我想知道，是否可以将已抓取的数据存储到oracle SQL数据库中？
我想创建一个java程序，它从网站上抓取数据。
然后直接将其存储在oracle sql数据库中。
我已经创建了一个程序，它擦拭网页，但，没有得到的价格。守则如下：
package connectingurl;
import java.io.*;
imp
浏览 1提问于2016-04-05得票数 1
你好，我想抓取多个电子商务网站，并获得所有可用的产品被抓取和显示在我的网站。我已经使用Java开发了爬虫，但在这方面，我们必须通过提供URL和HTML标记来手动抓取网站，并通过连接URL和解析URL来抓取站点，并在相应的HTML标记中获取产品。在这个例子中，我使用JSoup (“doc.getElementsByTagName”)；在名为“爬行”的标签中获取产品
但我想让爬行完全自动化。如果我在我的网站上搜索一个产品，那么相应的产品应该自动从电子商务网站上爬行。如果我想爬行佳能相机，爬虫应该自动完成。
有可能使爬虫自动化吗？如果是，请帮助我做这件事。
浏览 1提问于2014-01-20得票数 1
我想抓取一个网站，但它有一些javascript命令，可以创建我想要放入程序中的元素。我如何在这个网站上执行javascript命令，然后在它有新元素后将其清除？我正在使用Jsoup库进行抓取和java ofc。
浏览 17提问于2017-02-08得票数 0
回答已采纳
1回答
关于抓取网站内容的建议
、、、、
我试着抓取一些网站内容，使用和java的组合。将相关详细信息保存到我的数据库中，并每天进行相同的活动。
但事情是这样的，当我在浏览器中打开网站时，我得到的是html (带有所有的元素标签)。javascript部分当我测试它时，它工作得很好(我应该用它来提取正确的数据)。
但是，当我使用jsoup(来自Java类)进行解析/get时，只有最初的网站被下载用于解析。这意味着有一些网站的动态部分，我想要获取这些数据，但由于它们是通过post get呈现的，在网站上异步呈现，所以我无法使用jsoup捕获这些数据。
有谁知道解决这个问题的方法吗？我是否使用了正确的工具集？更有经验的人，我请求你的建议。
浏览 1提问于2012-07-02得票数 1
回答已采纳
我想从下面列出的URL中抓取HTML代码。问题是，我发现了一个错误：-
2016年8月14日6:40:36 PM booksscraper.BooksScraper主要严重:空org.jsoup.HttpStatusException: HTTP错误获取URL。org.jsoup.helper.HttpConnection$Response.execute(HttpConnection.java:590) at org.jsoup.helper.HttpConnection$Response.execute(HttpConnection.java:540) at org.jsoup.help
浏览 3提问于2016-08-14得票数 0
回答已采纳
1回答
我对Java和Jsoup都是新手。我已经成功地用Jsoup抓取了网站数据。然而，目前我正在打印搜索结果的标题，它们都在一行中返回。我想将结果嵌套在一个for循环中，这样搜索标题结果就会打印在一行上。
This is how the website is formatted:
<ul>
<li><span class ="title">Title 1<span></li>
<li><span class ="title">Title 2<span></li>
浏览 24提问于2019-11-08得票数 0
1回答
我正在努力获取我从我的网站上抓取的图像的绝对路径。我已经看过jsoup.org上的文档了，但是我不能让abs:src工作。我不知道如何实现abs:src，或者在哪里添加它。
<cfhttp method="get" url="https://theculturecook.com/recipe-slowroasted-pork-belly.html" result="theresult">
<cfscript>
Jsoup = createObject("java", "org
浏览 22提问于2020-05-09得票数 2
回答已采纳
2回答
提前感谢您的宝贵时间。代码应该连接到网站，并从包含用户输入的单词的行中抓取操作系统型号。它将搜索该单词，转到该行，并在该行的OS属性中搜索该单词。我不明白为什么我的代码不能工作，希望能得到一些帮助。
这是网站
代码如下：
import java.io.IOException;
import java.util.Iterator;
import java.util.Scanner;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.s
浏览 2提问于2016-07-22得票数 1
2回答
我想提取所有的文章内容从一个网站使用任何网络抓取/抓取方法。
问题是，我可以从单个页面获取内容，但不能重定向链接。任何人请给我适当的解决办法。
import java.io.FileOutputStream;
import java.io.InputStreamReader;
import java.io.OutputStreamWriter;
import java.io.Reader;
import java.net.URI;
import java.net.URL;
import java.net.URLConnection;
import javax.swing.text.Edito
浏览 4提问于2015-12-01得票数 1
回答已采纳
2回答
我想用Jsoup从抓取内容
代码为：
Document doc = Jsoup.connect("http://ws.audioscrobbler.com /2.0/?method=track.getInfo&api_key=550633c179112c8002bc6a0942d55b2a&artist=lucinda williams&track=lake charles")
.userAgent("Mozilla/5.0 (X11; Ubuntu; Linux i686; rv:2
浏览 0提问于2013-06-24得票数 3
1回答
我正在制作一个节目，使用jsoup为当前正在播放的歌曲和艺术家抓取一个特定的广播网站。我遵循了本教程：，但无法从网站获得正确的数据。
我想访问这个电台网站：和显示歌曲(和艺术家)，这是目前正在播放。
到目前为止，这是我的代码：
package jsoupTest;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
import java.io.IOException;
public class
浏览 0提问于2018-04-06得票数 0
回答已采纳
1回答
我正在尝试抓取flipkart产品规范，当我作为java应用程序运行它时，代码工作得很好。但是，当我在servlet中调用它时，它会给出一个错误：
org.jsoup.nodes.Document doc;
Elements specs = null;
try {
doc = Jsoup.connect(link).timeout(250000).get();
specs = doc.select("table[class=specTable]");
System.out.println(specs);
} catch (IOException
浏览 2提问于2015-03-03得票数 0
回答已采纳
我想从一个特定网站的图表中抓取数据。图形中的此信息只有在我刮擦后将鼠标悬停在graph.But上时才可用，我无法看到输出中的数据，即使它在'Inspect Element‘下可见。
我曾尝试使用JSoup抓取数据，但当我抓取数据时，不会显示通过鼠标悬停更改的数据。我该怎么做呢？
下面是我要搜集的信息。我必须抓取动态变化的值'184‘。
当您将鼠标悬停在上面一行中显示RGB值的图形上时，值184会动态变化。通过将鼠标悬停在图形上，即使这些RGB值也会发生变化。
经过抓取后，Jsoup的文档输出如下所示:未显示数字184和RGB值。这些字段是如何在输出中消失的？这是不是因
浏览 1提问于2018-09-21得票数 0
1回答
下面有两个用java编写的for循环。第一个抓取网站上所有新闻文章的标题，第二个抓取同一网站上同一篇新文章的所有链接。
如何使第一个循环执行一次，第二个循环执行一次，然后第一个循环执行第二次，第二个循环执行第二次，等等。非常感谢您的帮助，谢谢。
for( org.jsoup.nodes.Element element : elements1 ){
sendMessageRequest.setText(element.text());
sendMessage(sendMessageRequest);
System.out.print("sent message&#
浏览 1提问于2016-09-23得票数 2
回答已采纳
1回答
我正在开发一个图像抓取器，它使用JSOUP抓取各种subreddits的第一页。然而，出现的问题是，当尝试抓取NSFW子reddit时，reddit会重定向到超过18个身份验证页面，而刮取器会抓取身份验证页面。我是一个新手，我知道这是一个新手问题，但如果有任何帮助，我会非常感激，因为我完全迷路了。
import java.io.IOException;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements
浏览 0提问于2015-11-16得票数 2
我正在使用JSoup从不同的网站获取一些信息。信息使用不同的语言，但使用阿拉伯字符，如کور。我不是百分之百肯定，但我认为这些不是ASCII字符。我如何知道该字符串是否不是ASCII (如果我是正确的，它不是)，然后抓取该字符串。
编辑:在使用番石榴库和代码之后，我得到以下输出。
新新215
加词
B.统计数字
关于我们
二次反馈
اردلی
انرکه
خونه
سرای
سرپناه
کور
ګمرک
问题是，虽然正在打印非ASCII字符串，如"کور"，但是ASCII字符串(如“反馈”)正在打印。
这是我正在使用的代码。
import java.io.IOExce
浏览 0提问于2013-08-27得票数 3
1回答
我正在用Java开发一个小应用程序，它要求我从网站上抓取一个图像并在GUI中显示它。现在我不是在问如何获得图像的绝对URL，而是询问如何在获得绝对URL后显示它。我正在使用jsoup库作为网络刮刀。
浏览 2提问于2017-04-18得票数 1
回答已采纳
1回答
我有一个项目，在大学，我需要建立一个软件，跟踪项目价格的基础上，用户应该输入(目前只从Banggood.com)。
我刚刚开始学习从网站上抓取信息，所以我设法做到这一点，我只是停留在刚开始。我设法刮了的项目标题，但没有成功地用项目的价格做到这一点。我上传我的当前代码。
我没有办法从Jsoup网站或Google那里得到正确的信息。
import java.io.IOException;
import java.util.Scanner;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.selec
浏览 0提问于2019-06-26得票数 1
回答已采纳
1回答
JSoup POST身份验证
、、、、
我正在尝试连接到一个基本的用户名和密码身份验证的网站，保留cookie和解析数据，从一个网站，需要在登录页面上给出的cookie。当使用来自本地Apache when服务器的网站副本时，解析工作非常完美。是身份验证给我带来了麻烦。我正在使用Eclipse作为我的IDE，并且我一直收到以下代码段的错误：
Response res = Jsoup
.connect("site_with_login")
.data("login", "MyUsername")
.data("pass
浏览 0提问于2013-04-10得票数 2
因此，我正在构建一个应用程序，它可以在更友好的界面中显示我访问的网站的图像板。目前它有很多问题，但现在最大的问题是获取图像来显示它们。
据我目前所知，图像显示在一个大小为12的GridView中，反映了图像板每页上的图像数量。我使用Jsoup从页面中抓取要在GridView中显示的缩略图URL，并获取当用户单击缩略图时要显示的全尺寸图像的URL。
现在的问题是，Jsoup平均需要8-12秒的时间来抓取HTML页面。我发现这是不可接受的，我想知道是否有任何方法可以让这件事更快，或者这将是一个固有的瓶颈，我无法做任何事情。
下面是我用来抓取要抓取的页面的代码：
try {
Document
浏览 1提问于2012-04-24得票数 10
1回答
我试图从网站上抓取一些内容，但您必须登录才能查看特定内容。我想使用用户id和密码进行登录，并将会话cookie保存在: m.amway.com上，我尝试使用Jsoup...然而，在使用下面的代码后，我意识到Jsoup无法读取网站所基于的javascript……有没有人有方法可以用来登录、保存会话cookie和抓取内容，使用的不是Jsoup？提前谢谢。
public String Jlogin(String User, String Pass) throws Exception{
String title = "didnt work";
Respons
浏览 0提问于2012-10-27得票数 0
回答已采纳
1回答
我正在尝试使用JAVA中的JSoup库从网页中抓取数据。然而，这里的问题是，我想要抓取的数据是基于XML加载的，所以当我试图从HTML解析它时，它会显示出来
<div id="report-details-container">
<!-- Container where HTML template will be loaded based on XML -->
</div>
而不是完整的HTML，它只显示这个注释。
我如何抓取数据，因为在inspect元素中我可以看到完整HTML。
浏览 0提问于2017-10-14得票数 1
3回答
我正在尝试使用Android/Java/JSoup从一个网站上抓取一些数据，但是我无法从下面的url中用表数据更新我的文本视图。
我相信，在实现JSOUP来解析表数据方面，我已经做了几乎所有正确的事情，但是，由于一些奇怪的原因，当我执行以下操作时，仍然无法查看我试图获取的数据：
来源：
package com.example.test;
import java.io.BufferedReader;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.io.IOException;
import
浏览 3提问于2013-10-04得票数 2
回答已采纳
2回答
我正在尝试使用JSOUP在web上刮刮网站。
当我们在搜索栏中放置一个链接并单击搜索按钮时，该网站动态加载并显示一些我想要抓取的下载链接。我的问题是如何使用链接搜索加载JSOUP中的链接，而不单击search按钮并显示结果(刮取结果)。
有没有任何方法可以搜索一个链接并加载它而不点击任何按钮并获得结果？
我尝试了这段代码，但没有得到所需的结果。
val result:Document = Jsoup.connect(Constants.BASE_URL)
.data("url", Constants.YOUTUBE_LINK)
浏览 27提问于2022-07-06得票数 0
1回答
如果我的条件不正确，很抱歉，我以前没有这样做过
我正在使用jsoup从网站页面抓取单个值，我正在尝试查找存储在此函数(java脚本？)中的"serialno"。
function set(obj, val)
{
document.getElementById(obj).innerHTML= val;
}
调用者
{set("modelname", "NPort 5650-16");set("mac", "00:90:E8:22:76:F4");set("serialno", "258
浏览 3提问于2019-12-19得票数 0
目前我有一个我的研究所的网站，我希望开发一个相同的安卓应用程序，使学生更容易访问后，在网址中填写的详细信息来的结果，作为参考，你可以选择分别的细节在流学位科学；班级- F.Y.B.Sc；师- CPM(A)；滚动no- 1743还，想知道如果Json抓取和解析数据的概念将工作或不？答案将不胜感激:)
我尝试过Jsoup方法，但它只适用于Js网站。
try {
newVersion = Jsoup.connect("https://play.google.com/store/apps/details?id=" + "com.example.myapp" +
浏览 0提问于2019-04-29得票数 0
1回答
我试图解析以.tv和.mobi扩展结尾的网页，但每次尝试都会出现相同的错误。Jsoup可以很容易地解析以.com、.org、.in等结尾的网站，但不能解析.tv或.mobi。
import java.io.IOException;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.select.Elements;
import org.jsoup.nodes.Element;
public class sample {
public static void main(String[] a
浏览 3提问于2016-12-12得票数 0
回答已采纳
我刚刚用java做了一个数据抽取的实验，在这个论坛上搜索一下，发现它叫做屏幕抓取。我已经在寻找java的屏幕搜索库，并找到了JSoup来解析结果。
我的问题是当搜索表单提交时，目标网站使用post方法，它不容易复制它，而且我在chrome中检查开发人员工具，提交操作后的响应码是302，重定向到一些页面，然后重定向到结果页面。
请谁给我一个提示，或给我一个教程，如何用jsoup做到这一点。在我的例子中，我尝试从ai*ras*ia.*com检索航班时刻表。
浏览 0提问于2013-02-16得票数 0
1回答
提高卷筒纸刮刀效率
、、、
我正在创建一个java应用程序来从一个特定的XXX网站抓取数据，我想将所需的一组数据存储到我的MSSQL数据库中。dataset位于MSSQL中的100000+行附近。
我所做的就是收集数据，根据我的需求对其进行处理，然后将其存储在DB中以及我的ElasticSearch集合中。整个过程一次运行大约需要2天或更长时间。我使用JSoup来解析数据。
我想知道的是，我如何提高我的应用程序的效率，以便我可以在更短的时间内抓取和保存它。我有用于并行执行我的流程的executor服务。
浏览 2提问于2018-12-11得票数 0
我正在试着抓取这个网站 https://www.dailystrength.org/search?query=aspirin&type=discussion 为我的一个项目获取一个数据集(使用阿司匹林作为占位符搜索项目)。 我已经决定用Jsoup来做一个爬虫。但问题是，帖子是通过Ajax请求动态带来的。使用显示更多按钮发出请求 This button causes the problems 当显示整个内容时，它应该看起来像这样，并带有文本“所有消息已加载”。 end result import java.io.IOException;
import java.util.ArrayLi
浏览 34提问于2019-02-03得票数 0
回答已采纳
我从获取所有的引号，并将每个元素的文本添加到一个String类型的列表中，一切都正常工作。我的问题是，它没有从网站上抓取每一个元素。每次只会抓到25美元。我通过加载引号并打印出列表的大小来测试这一点，结果是25。有没有一种方法可以使用jsoup加载每个元素，这样我就可以获取所有的引用？
这是相关的类。正如我所说的，一切都像它应该的那样工作。唯一的问题是获取所有的报价，而不是只有25个。注意:忽略我从21开始索引的事实，当我从0开始时也会发生同样的事情。
package com.galanjulio.pequitas.quotes;
import com.galanjulio.pequitas
浏览 0提问于2019-04-23得票数 0
1回答
小背景，我试图给客户一个选项，直接添加HTML，并发布一个单一的网页网站(如blogspot)。这带来了骗子的问题，所以我创建了一个微服务，阻止基于HTML内容的发布网站。
最初我使用JSoup从网站获取HTML，现在骗子已经变异了，并且使用外部网站加载脚本，并以异步<script src="https://yolologroyopuedo.us/?api=1&lan=fbcacaroto" type="text/javascript" async="true"></script>加载脚本。
所以我最初呈现的HTM
浏览 3提问于2022-02-22得票数 1
1回答
我使用Java上的库从jSoup中抓取。我的资料来源很好，我想问一下我得到的每一个元素都是如何分裂的？
这里是我的线人
package javaapplication1;
import java.io.IOException;
import java.sql.SQLException;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
public class coba {
public static void main(String[] args) throws SQLException {
MasukD
浏览 5提问于2016-07-28得票数 1
回答已采纳
1回答
我正在使用jsoup从网站上抓取数据。我想知道当我从中抓取数据的网站宕机时，会抛出哪个异常。
是SocketException还是NoHttpResponseException或者其他什么？
我读到当服务器收到请求但没有响应时会抛出NoHttpResponseException，对吗？
浏览 1提问于2017-01-10得票数 1
1回答
不能抓取我要找的数据？
、、、
我正在尝试从网址：* 中抓取附图中的价格和日期
我成功地抓取了信息，但没有找到我想要的方式(日期+价格)。我使用了以下几行代码
import java.io.IOException;
import javax.lang.model.element.Element;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.select.Elements;
public class Test {
public static void main(String[] args) {
D
浏览 1提问于2016-08-13得票数 2
回答已采纳
我有一个关于jsoup的问题，因为我用java代码访问站点时懒惰加载scrollLoader.js，当我在站点上向下滚动时，我只列出了jsoup.But列出的50个图像名称，大量图像不断加载。我的问题是，有没有可能将图片数量张贴到url中，与Jsoup.connect()一起使用，以从网站获得所有图像？
这是网站：
这是脚本在网站中的用法：
<script type="text/javascript">
$(document).ready(function(e) {
CalculateColumns();
浏览 0提问于2013-07-01得票数 6
我使用的是Java Eclipse和导入的jsoup包，以便从Amazon网站上抓取。程序只是转到一个搜索页面，查看结果的数量，如果有任何变化，就会在屏幕的左侧发出通知，并不断地用计时器重新加载页面。它工作得很好，过了一段时间后，它不断地显示错误。有时它会正确执行。
我尝试使用if(select=!null)，但结果为空。这意味着选择器有时会抓取数据，有时会得到空值。
package main;
import java.awt.AWTException;
import java.awt.SystemTray;
import java.io.I
浏览 47提问于2019-05-21得票数 1
回答已采纳
1回答
我需要从博彩网站获得一些实时足球统计数据-使用java。我的第一个想法是使用Jsoup，但似乎没有给我任何输出。
我做错了什么吗？这是我想要抓取的网页类型吗？如果是这样，我是否可以使用OCR来获取所需的统计数据？
Document doc = Jsoup.connect("https://www.betfair.com/sport/football/event?eventId=27446056").get();
String shots = doc.select("#in-game-stats > div:nth-child(1) > div.si-hom
浏览 1提问于2015-05-26得票数 1
我有一个问题，当使用Jsoup抓取一个网站，使用延迟加载和Jsoup不能访问足够的内容，我需要。有没有办法解决这个问题？ 我正在使用selenium和FirefoxDriver来获取，但这还不够 System.setProperty("webdriver.gecko.driver", "C:\\Users\\ADMIN\\Downloads\\Compressed\\geckodriver.exe");
DesiredCapabilities capabilities = DesiredCapabilities.firefox();
capabilities.
浏览 6提问于2019-09-30得票数 0
2回答
我正在创建一个AWS函数来使用JSoup进行一些基本的web抓取。我已经设置了必要的VPC和相应的需求(我认为)。
当我通过AWS测试界面执行lambda函数时，我可以成功地连接到基本的网站，如google/cnn/etc ()和()。
然而，当我尝试刮我感兴趣的网站时
我得到一个IO例外：
org.jsoup.HttpStatusException: HTTP错误获取URL。Status=403。
但是，当我在本地(在我的计算机上)使用该URL运行相同的代码时，它能够很好地连接和读取网站。这使我认为我的VPC设置错误，但我不知道为什么我能够到达而不是。
这就是我如何调用jsoup的方式：
浏览 4提问于2020-01-02得票数 0
回答已采纳
2回答
我正在尝试使用jsoup来抓取一个网站的数据，这样我就可以在Android项目中使用它。当我试图使用.text方法获取文档的所有文本时，它说“无法解决方法”，尽管我认为我导入了所有正确的东西。这是我的代码的问题还是其他原因？
我的守则：
Document doc = (Document) Jsoup.connect(url).get();
text = doc.text();
编辑:找到错误，当正确的导入是org.jsoup.nodes.Document时导入了org.w3c.dom.Document
浏览 9提问于2020-06-11得票数 1
回答已采纳
3回答
我想知道是否有与PhantomJS等同的Java库。我想要实现的是能够模拟表单登录和提交来自网页的操作，也可以做页面抓取。我知道jsoup做的是页面抓取，但不是页面自动化。
提前感谢！
干杯，亚历克斯
浏览 0提问于2013-11-04得票数 15
2回答
用Jsoup初学者抓取网站
、、、、
我正在尝试使用jsoup来抓取一个网站。我使用源超文本标记语言中的".eventTableRow“类将表行提取到Elements对象中，但我不确定如何访问单个单元格。我正在尝试获取单元格中的数据，如下图中用框突出显示的数据：
Elements row = doc.select(.eventTableRow);
System.out.println(row);
//prints similar to below image :
我不能上传图片，因为我没有10个声誉
我知道对于你们中的许多人来说，这是初级的，我肯定会得到jsoup文档的链接，但我已经阅读并尝试了几个小时，就是不能让它为我
浏览 1提问于2013-06-09得票数 0
我对在Java/Android Studio中编码非常陌生。到目前为止，我已经完成了所有我能弄清楚的设置。我有一个按钮，我需要将代码放在按钮单击事件中，该事件将从网站获取信息，将其转换为字符串并显示它。我想我必须使用html源代码才能做到这一点，所以我安装了Jsoup解析器。我找到的所有关于Jsoup的帮助只会让我把HTML放到一个“文档”中。我不确定这是否是实现我所需的最好方法。谁能告诉我用什么代码从网站获取html代码，然后在html中搜索一个特定的匹配项，并将该匹配项转换为字符串。或者谁能告诉我有没有更好的方法。我只需要抓取一条信息并显示它。
下面这段html代码包含了我想要的值：
浏览 3提问于2015-02-04得票数 2
2回答
因此，我试图使用jsoup来抓取Reddit的图像，但是当我刮掉某些subreddits (如/r/壁纸)时，我得到了一个429错误，并想知道如何解决这个问题。完全理解这段代码是可怕的，这是一个非常糟糕的问题，但我对此完全陌生。无论如何：
import java.io.IOException;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
import java.io.BufferedRead
浏览 5提问于2015-09-24得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
