腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
Crawler登录到gmail电子邮件帐户
java
、
basic-authentication
我想
写
一个
爬虫
在
Java
中自动登录到gmail帐户。我的
爬虫
将获得登录Id和密码,并将登录到电子邮件帐户,并显示输出页面。我不清楚该
怎么
做。谁能告诉我如何编写
爬虫
登录到gmail电子邮件帐户?任何回应都将不胜感激。 提前谢谢。
浏览 2
提问于2010-08-27
得票数 1
1
回答
编写可与任何服务器保持登录状态的crawler
c#
、
python
、
http
、
session
、
web-crawler
我正在
写
一个
爬虫
。一旦
爬虫
登录到一个网站,我想使
爬虫
“停留-始终登录”。我该
怎么
做呢?客户端(如浏览器、
爬虫
等)使服务器遵守此规则吗?当服务器在一天内允许有限的登录时,可能会出现这种情况。
浏览 0
提问于2009-11-26
得票数 0
回答已采纳
1
回答
HtmlUnit与HttpUnit的性能比较
htmlunit
、
http-unit
我想
写
爬虫
,支持cookie存储操作和会话。
java
无头浏览器有两种不同的实现方式。HtmlUnit对javascript和html解析有更好的支持。但是,有什么理由使用HttpUnit来提高
爬虫
的性能呢?
浏览 1
提问于2011-08-28
得票数 2
1
回答
爬行,爬行,获取数据
network-scan
我想
写
一个
爬虫
来做一些基础设施(路由器,WAPS,系统等)的清单。所以,我在服务器上安装了一个应用程序,以及如何部署它。
爬虫
是
怎么
开始的?
爬虫
是如何返回数据的?
浏览 5
提问于2008-12-05
得票数 0
1
回答
从整个WebSite中提取所有URL
c#
、
vb.net
、
web-crawler
我希望
爬虫
从网页中提取网址,我也希望
爬虫
遵循网址,以便我能够从网站中提取所有的网址。 我该
怎么
写
呢?
浏览 1
提问于2011-04-06
得票数 0
2
回答
如何编写scrapy哪个start_url是前一个爬行器的输出?
python
、
scrapy
、
sitemap
我
写
的sitemap scrapy如下: name = "filmnetmapSpider" videoid = response.xpath('/loc/text()').extract()我想
写
另一个
爬虫
,它的start_url是前一个
爬虫</e
浏览 2
提问于2018-07-04
得票数 0
3
回答
可以解释JavaScript的网络
爬虫
javascript
、
web-crawler
我想
写
一个网络
爬虫
,可以解释JavaScript。基本上它是一个用
Java
或PHP编写的程序,它接受URL作为输入并输出DOM树,这与Firebug HTML窗口中的输出类似。我该
怎么
做呢?有什么工具可以帮助我吗?
浏览 68
提问于2010-04-20
得票数 18
1
回答
将Web Scraper/ Web Crawler移植到移动设备?
mobile
、
web-crawler
、
porting
、
smartphone
是否可以将网络爬行器/网络
爬虫
移植到智能手机等移动设备上?如果是这样,我会
怎么
做呢?
浏览 0
提问于2011-12-20
得票数 0
2
回答
一个数组能容纳多少个字符串?
java
、
arraylist
、
web-crawler
、
stack-overflow
我正试着
写
一个网络
爬虫
。当我浏览一个大页面时,我的arraylist变量无法保存所有数据。它被抛到了异常之下。线程
java
.lang.StackOverflowError".中的异常" thread -0“ 保存这些urls的最佳方法是什么,因为我需要访问那些urls和子urls等等。我想保存到数据库或写入文件,但这些机制可能会减慢
爬虫
性能。
浏览 0
提问于2015-11-19
得票数 0
5
回答
如何使jar文件在启动时运行&以及何时退出?
java
、
startup
、
services
、
logout
更多详情:
爬虫
是用
java
编写的,因此现在它是一个jar。此外,我希望它继续运行,即使当我注销。我不确定这是可能的,但大多数时候我都是注销的,而且我仍然希望它能够爬行。 有什么想法吗?
浏览 0
提问于2012-01-28
得票数 29
回答已采纳
3
回答
高效网络
爬虫
的语言建议
javascript
、
asynchronous
、
node.js
、
web-crawler
我正在寻找一种语言来编写一个高效的网络
爬虫
。
浏览 6
提问于2010-12-03
得票数 2
3
回答
用
Java
创建web索引器?
search
、
indexing
、
web-crawler
我应该用
Java
写
一个网络
爬虫
。爬行部分很容易,但索引部分很难。我需要能够查询索引器,并让它返回匹配(多个单词查询)。做这样的事情最好的数据结构是什么?
浏览 2
提问于2009-12-02
得票数 0
1
回答
为什么我的Crawler会得到错误的HTML代码?
java
、
web-crawler
我想用
java
写
一个
爬虫
来做一些学校练习。实际上,用jsoup库实现的
爬虫
代码可以工作,因为我的请求的结果是一些HTML代码,但是当我搜索一个明确写在网站上的单词时,没有找到它,因为一些div的来自于空的
爬虫
。
浏览 0
提问于2019-09-12
得票数 1
回答已采纳
2
回答
在scrapy的start_requests()中返回项目
python
、
scrapy
我正在
写
一个抓取许多urls作为输入的
爬虫
,并将它们分类为类别(作为项目返回)。这些URL通过我的
爬虫
提供给
爬虫
start_requests()方法。我
怎么
才能绕过这一步呢? 我曾考虑过在自定义中间件中捕获这些请求,这将使它们变成虚假的Response对象,然后我可以将它们转换为Item对象,但任何更简洁的解决方案都是受欢迎的。
浏览 105
提问于2016-02-10
得票数 5
回答已采纳
1
回答
如果要编写多线程爬行器,应选择哪个web服务提供商
language-agnostic
如果我想
写
一个多线程
爬虫
,我想知道哪个是最好的best服务提供商。Appengine,ec2.... Appengine
java
显然有一些限制..此外,一个免费将是伟大的,因为我只是测试应用程序。
浏览 2
提问于2009-12-17
得票数 0
1
回答
如何使用PHP从另一个网站获取数据并将其存储在MySQL数据库中?
php
、
mysql
、
curl
我需要使用PHP从网站中获取数据,并将其保存在MySQL数据库中。我还想获取图像并将它们保存在我的服务器中,以便在我的站点中显示它们。我听说可以使用API,但是我想知道我是否可以使用CURL来完成这个任务。我想每天获取大量的数据,那么使用CURL会消耗大量的服务器端资源吗?还有哪些其他方法可以获取数据?
浏览 5
提问于2011-08-17
得票数 1
3
回答
如何在
java
中使用HTTP代理
java
、
proxy
、
ip
我正在
写
一个代码,连接到网站,并检查一些代码,如
爬虫
。但我需要通过代理连接并更改IP地址(这样它就不会在服务器日志中显示客户端的IP )。 如何通过
java
做到这一点呢?
浏览 0
提问于2011-01-05
得票数 22
2
回答
如何将.
java
和html结合起来?
java
、
html
、
eclipse
、
web-crawler
然后,我想执行一个
爬虫
到rottentomatoes.com并获取与这部电影相关的所有html页面。我已经使用Tomcat在Eclipse中创建了我的web应用程序( GUI)。我有一个web
爬虫
: crawler4j,如果我选择将主.
java
文件作为应用程序运行,它就会运行。我
怎么
才能把这两者结合起来? 是否可以使用html中的参数(电影名称)调用
java
类文件?为了在我的html中执行它,我必须用
爬虫
创建一个单独的Applet吗?我可以这样做并用它发送字符串( html中的电影名
浏览 3
提问于2012-12-10
得票数 0
回答已采纳
1
回答
Java
/1.7.0_07作为用户代理
security
、
user-agent
几乎每天都有东西(应该是一个机器人)访问我网站上的所有页面(除其他外,它不能正确处理urls中的空间),以
Java
/1.7.0_07 (或不同的
java
版本)作为参考。谢谢
浏览 0
提问于2012-10-17
得票数 2
回答已采纳
1
回答
在结构中使用爬行器生成器(Minecaft forge mod 1.7.10)
java
、
minecraft
、
minecraft-forge
、
mod
我试着做一个内部有
爬虫
产卵的结构,但我还没有找到任何东西告诉我该
怎么
做。我尝试使用元数据(
爬虫
生成器52:50)来生成块,但是我没有找到使用块元数据的任何东西,我还尝试了一个转换为
java
的逻辑示意图,但是1.7.10版本中不存在 有没有人能帮帮我,告诉我
怎么
做?谢谢
浏览 4
提问于2021-03-10
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
我们写的Java代码是怎么运行起来的?
从零开始写python爬虫
【Java爬虫】测测面相
IPIDEA干货|Java爬虫与Python爬虫的区别
听说用python写的 爬虫很强
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券