作为https协议，我在StormCrawler中设置了默认的https协议。:1.8.0_131]at sun.security.validator.PKIXValidator.doBuild(PKIXValidator.java:382) ~[?:1.8.0_131]
at sun.security.validator.Valida
浏览 1提问于2018-03-21得票数 2
回答已采纳
我到处寻找，都找不到任何关于如何创建一个java监听器的信息，这个监听器监听网站上的信息，然后读取这些信息。
基本上，我希望侦听器始终在后台运行。这将是一个我控制的网站，我会让网站在用户结帐时发送数据，我想知道如何在后台监听数据而不是间隔时间。
浏览 1提问于2015-06-03得票数 1
11回答
我想做一个基于Java的网络爬虫来做一个实验。我听说，如果这是您第一次使用Java制作的话，这是一条可行的道路。然而，我有两个重要的问题。
我应该使用哪些库？我假设我需要一个连接到网页的库，一个用于HTTP/HTTPS协议的库，以及一个用于HTML解析的库。
浏览 23提问于2012-07-01得票数 22
回答已采纳
1回答
我正在用Java编写一个web爬虫工具。当我键入网站名称时，我如何使它能够在不定义协议的情况下连接到http或https中的站点？IOException ex) {}java.lang.IllegalArgumentException我正在编写一个Java程序来测试链接是否坏了。
浏览 3提问于2014-03-27得票数 1
回答已采纳
1回答
我在一个基于java的爬虫上工作。我想在我的爬虫恢复功能，用户可以在任何时候暂停爬虫，在他想要的情况下，爬虫崩溃的情况下，他应该能够开始从爬虫停止的点上一次爬行。
浏览 2提问于2012-01-06得票数 1
回答已采纳
1回答
我在标题标记中使用了{{}类似的描述，它也反映在加载的页面上，而不是在爬虫爬行时。您可以检查页面源代码中的代码，我尝试使用
但仍然无法使它发挥作用，有什么建议或如何才能做到这一点？
浏览 0提问于2016-04-20得票数 0
1回答
我计划做一个responsive+mobile的第一个网页设计。所以我的计划是：
谁能告诉我，是否可以做SEO友好的条件加载使用Javascript？或者，我是否需要查看服务器端语言即PHP/ASP来使用设备检测加载内容？
浏览 6提问于2012-10-18得票数 4
回答已采纳
3回答
C++网络爬虫
、、、
我正在尝试并尝试制作一个最小的网络爬虫。我在很高的层次上理解了整个过程。那么进入下一层细节，程序如何“连接”到不同的网站来提取HTML？谢谢!
浏览 1提问于2012-07-01得票数 0
回答已采纳
2回答
可以方便地使用与原始请求相同的模式(超文本传输协议或超文本传输协议)包含资源(图像、CSS、JS)，同时只保留缓存页面的一个副本。<base/>标记中的协议相关URL？
浏览 0提问于2014-02-20得票数 12
例如，机器人排除协议将/robots.txt指定为文件路径。若否，原因为何？对于我的个人网站，我更喜欢使用约定高于配置，跳过通知搜索引擎爬虫我的站点地图的位置的步骤。
浏览 0提问于2019-12-11得票数 1
我对基于PHP的网络爬虫有些怀疑，它能像基于java线程的爬虫一样运行吗？我之所以问这个问题，是因为在java中，线程可以一次又一次地执行，我不认为PHP有类似线程的功能，你们能说一下，哪个网络爬虫更能充分利用吗?基于PHP的爬虫还是基于Java的爬虫
浏览 1提问于2010-07-27得票数 0
回答已采纳
假设我正在编写一个处理多个帐户(如Facebook、Twitter等)的社交媒体爬虫。我为消息定义了一些协议(Message有显示名称和消息体，Timestamped有时间戳，Forwarded有原始消息ID等等)。然后，我为消息源定义了一个协议，我目前已经编写了该协议 associatedtype MessageType :我的问题是，如何约束从SequenceType继承的SequenceType与MessageT
浏览 2提问于2016-05-28得票数 4
回答已采纳
1回答
我想写一个Java代码来解析某个网站。网站中的每个结果都出现在指定的URL中。我该怎么开始呢？有没有好的库可以使用？我能从你在这个领域的经验中受益吗？
浏览 0提问于2011-07-26得票数 2
回答已采纳
1回答
虽然我想相信很多人正在找到我的代码并下载它，但其中一些代码的性质让我怀疑这些克隆是来自于机器人或搜索引擎爬虫/蜘蛛。有没有人知道克隆git存储库是搜索引擎爬虫的标准技术，还是我的代码比我想象的更受欢迎？
浏览 3提问于2016-11-12得票数 12
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
