2回答
我试图创建一个web应用程序，用户可以选择一个电影的名称(前)。(“空中坠落”)从下拉列表。然后，我想执行一个爬虫到rottentomatoes.com并获取与这部电影相关的所有html页面。我有一个web爬虫: crawler4j，如果我选择将主.java文件作为应用程序运行，它就会运行。我怎么才能把这两者结合起来？
是否可以使用html中的参数(电影名称)调用java类文件？为了在我的html中执行它，我必须用爬虫创建一个单独的Applet吗？
浏览 3提问于2012-12-10得票数 0
回答已采纳
利用python爬取豆瓣电影排行榜（https://movie.douban.com/chart)的数据并保存到excel中。用相同代码爬取网页豆瓣top250的数据可以爬取到excel中，但将网址及相关信息改为网页豆瓣电影排行榜中的信息时便无法爬取，也找不出问题所在。以下图片为完整代码。
浏览 340提问于2021-01-09
1回答
要获得它们，需要编写一些类似于爬虫的东西，这并不是很方便。原因是我试图在我的自然语言处理项目中使用一些电视节目，采访，广播，电影的文本作为训练数据。所以我想知道网上是否有免费的收藏或数据库，这样我就可以一次下载所有的东西，而不需要自己编写爬虫程序？
浏览 3提问于2013-08-28得票数 3
有一个包含30+成员变量的类，需要将它传递给一个函数，然后在处理后从函数返回它。但此函数只接受基本数据类型，如string、int。我希望将这些成员变量转换为对象数组，将其传递给函数，然后再转换回来。源代码如下： int member1; int member3; //source code //assi
浏览 3提问于2014-03-17得票数 1
回答已采纳
我对基于PHP的网络爬虫有些怀疑，它能像基于java线程的爬虫一样运行吗？我之所以问这个问题，是因为在java中，线程可以一次又一次地执行，我不认为PHP有类似线程的功能，你们能说一下，哪个网络爬虫更能充分利用吗?基于PHP的爬虫还是基于Java的爬虫
浏览 1提问于2010-07-27得票数 0
回答已采纳
1回答
我正在用Java开发一个网络爬虫。我正在寻找一个很好的项目开发这个爬虫的基础上。然而，实际上有超过几百个用Java编写的爬虫程序。我要找的是一个相当简单的爬虫，它有：
基于最新的Java构建和新的functionalityGood performanceImplemented好documentationNot的多线程documentationNot
浏览 1提问于2012-04-16得票数 0
回答已采纳
1回答
我已经制作了抓取器来从网站(如电影)中提取数据，但是我如何连接到网站服务器来直接从那里的数据库中提取数据，而不是创建一个爬虫来从可视化站点中提取数据？如果你可以给我的库名，工具集或指南，你会很酷。
浏览 2提问于2013-03-30得票数 0
回答已采纳
1回答
我需要一个开源的web爬虫在java开发的增量爬行支持。
Crawl4j是一个很好的网络爬虫</
浏览 4提问于2014-09-22得票数 1
回答已采纳
1回答
识别搜索爬行器
、、、
我有一个网站，统计有多少人访问了这个特定的网页，但我不想计数什么时候搜索爬虫访问他们。java是否有任何方法来识别它是爬虫还是真正的用户？使用Java7和tomcat
谢谢
浏览 2提问于2015-10-21得票数 1
回答已采纳
1回答
我在一个基于java的爬虫上工作。我想在我的爬虫恢复功能，用户可以在任何时候暂停爬虫，在他想要的情况下，爬虫崩溃的情况下，他应该能够开始从爬虫停止的点上一次爬行。
浏览 2提问于2012-01-06得票数 1
回答已采纳
1回答
网络爬虫是否只从网页中返回提取的文本？例如，如果web服务器中也存储了一些pdf/doc文件。网络爬虫可以爬行它们并返回它们的内容吗？不管怎样，对于一个好的开源Java网络爬虫有什么建议呢？
谢谢!
浏览 2提问于2011-06-26得票数 0
回答已采纳
需要知道是否有一个爬虫/下载器，可以抓取和下载和整个网站的链接深度至少为4页。我正在尝试下载的站点有java script超链接，这些超链接只能由浏览器呈现，因此爬虫程序无法抓取这些超链接，除非爬虫程序自己呈现它们！
浏览 4提问于2010-09-30得票数 0
回答已采纳
或者，更普遍的是，高效的网络爬虫是用哪种语言编写的？
我见过很多Java语言，但在我看来，它不是最适合开发网络爬虫的语言，因为它产生了太多的开销(尝试使用Heritrix网络爬虫，它非常重)。
浏览 0提问于2009-10-29得票数 1
回答已采纳
1回答
我刚写完一个爬虫，一直在想为什么爬行某个网站会很糟糕。我知道现代浏览器的风险主要是由javascript造成的。因此，我的问题是，web爬虫(用PHP或Java编写)是否能够刮起可能会对爬虫造成损害的站点？
浏览 3提问于2014-11-08得票数 1
我正在寻找Apache Lucene网络爬虫写在java，如果可能的话，或在任何其他语言。爬虫必须使用lucene并创建有效的lucene索引和文档文件，因此这就是nutch被排除的原因。有没有人知道这样的网络爬虫是否存在，如果答案是肯定的，我可以找到它。Tnx..。
浏览 0提问于2009-10-16得票数 1
回答已采纳
我目前正在构建这个网络爬虫来获取起始url的所有链接，并从这些链接中爬取所有链接，等等。我还注意到，一旦我运行我的爬虫，我的互联网开始崩溃，这意味着网站不会加载，直到我打开我的网络爬虫。我想我发送了太多的http请求。如果有人知道如何限制线程或修复以下错误：
java.lang.outOfMemory :无法创建本机线程
浏览 1提问于2012-05-02得票数 0
回答已采纳
爬虫的常见输出格式是什么？它会是XML，JSON吗？或者它会根据爬虫的不同而不同，例如: Python，Java？
浏览 0提问于2012-08-20得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
云直播
腾讯会议活动推荐
腾讯云开发者
