腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(2865)
视频
沙龙
1
回答
如何使用wget下载页面,但如果页面不存在,则忽略404错误消息?
有没有办法让wget在下载网址或
爬
取
网页
时忽略HTTP错误响应码?
浏览 5
提问于2015-08-19
得票数 6
回答已采纳
1
回答
如何用python
爬
取
数据并保存到excel?
利用python
爬
取
豆瓣电影排行榜(https://movie.douban.com/chart)的数据并保存到excel中。用相同代码
爬
取
网页
豆瓣top250的数据可以
爬
取到excel中,但将网址及相关信息改为
网页
豆瓣电影排行榜中的信息时便无法
爬
取
,也找不出问题所在。以下图片为完整代码。
浏览 321
提问于2021-01-09
2
回答
关闭浏览器或单击中止时,脚本不会停止
、
、
我写了一个网络爬虫,它在do while循环中调用
网页
,循环时间为3秒 总共有7000个网站...我解析数据并将其保存在我的
数据库
中。我在我的
数据库
里看到了。 我能防止这种情况吗?..现在,如果我停止webserver,这是可能的。 谢谢你,并致以最良好的问候。
浏览 0
提问于2010-01-22
得票数 0
2
回答
请问一下页面上的图片,怎样获取它的URL呢?
、
浏览 342
提问于2020-10-26
0
回答
新浪微博搜索是否禁用了huginn,有什么解决办法吗?
比如,用huginn
爬
网这个链接: https://s.weibo.com/weibo?换了其他地方的机器,电脑和ip不同,huginn照样无法正常
爬
取
。而在同一台机器上用 下载工具甚至简单的脚本下载这个链接的
网页
内容,却可以实现,不知道是什么情况。
浏览 103
提问于2021-09-28
0
回答
能否用腾讯云函数更新小程序云
数据库
?
、
、
、
、
小程序云函数不支持python,所以想用python写腾讯云函数
爬
取
数据更新小程序云
数据库
浏览 329
提问于2020-09-10
1
回答
如何找出有多少人在使用你创建的脚本?
、
、
我创建了一个jQuery插件,想知道是否有人知道有多少人在使用它?有没有办法抓取网站,并返回一个是,如果网站正在使用它?
浏览 0
提问于2011-09-19
得票数 0
回答已采纳
1
回答
SQL全文索引,ASCII控制字符
、
、
、
我可以从
数据库
中删除这些字符,但如果能确认并了解原因会更好。任何帮助都将不胜感激。
浏览 0
提问于2013-09-02
得票数 0
1
回答
IE 8的问题
我的网站在mozila上工作正常,但当我们转到IE 8时,它在状态栏上显示错误User Agent: Mozilla/4.0 (compatible; MSIE 8.0; Windows
浏览 0
提问于2011-04-04
得票数 0
2
回答
在Java中从某个URL调用脚本?
、
、
、
、
为了方便起见,我使用Java解析一个随机网站的超文本标记语言,假设它是。在解析HTML数据之后,我希望提取其中的一些数据,并将其显示在显示器上。之后,用户将输入搜索词,并按下一个按钮。这个按钮将执行“搜索”按钮后面的脚本。我想在几个网站上做到这一点,所以给我一种只与google一起工作的方法不会对我有太大帮助。
浏览 0
提问于2012-03-30
得票数 0
回答已采纳
1
回答
如何避免
爬
取
CGI生成的日历
网页
、
网页
由CGI程序生成。大多数
网页
的URL都包含诸如?id=2323&title=foo之类的表达式。然而,我面临的一个问题是,这个网站有一个日历。也会生成一些类似日期的
网页
。这意味着纳奇将试图抓取一些无害的
网页
,如year=2030&month=12。如何在Nutch中避免这样的陷阱?编写很多正则表达式?
浏览 1
提问于2012-01-27
得票数 0
回答已采纳
1
回答
如何处理UUIDS?
、
、
、
我想要做的是看看哪些东西已经被
爬
取
,并更新它们,而不是添加新的记录。另外,这并不是读取URL并查看URL是否已被
爬
取
,因为公司可能会更改其URL,甚至更改其名称。那么如何生成这些UUID呢?并确保它们以某种方式链接到相同的对象,这样我就可以更新对象(记录),而不是在
数据库
和搜索结果中有两次。
浏览 1
提问于2017-09-21
得票数 0
1
回答
雅虎管道合法性
、
、
如果一个网站声明不抓取他们的网站,那么使用Yahoo Pipes或YQL这样的工具来创建mash up还合法吗?谢谢。
浏览 2
提问于2013-09-26
得票数 0
2
回答
我如何“获得”数据的所有酒吧/俱乐部在美国的
数据库
。Yelp API?
、
、
、
、
我要做的是创建一个美国所有酒吧的
数据库
。我需要这个
数据库
半定期更新(大约每周),以包括新开的酒吧。 yelp api的问题是他们只返回20个结果。在我周围5英里的范围内有800多家酒吧。
浏览 0
提问于2011-01-18
得票数 1
0
回答
java怎样
爬
取
js
动态请求的数据?
、
、
动态加载的数据获取不到(cd.fangfaxian.com)
浏览 218
提问于2020-04-28
1
回答
映射Open search服务器中的值
、
我有一个
数据库
的一些数据,如网址,ip,国家,州等。假设我有一个url 和美国国家,我需要用抓取的数据来映射这个国家。我尝试了
数据库
爬虫,它是非常慢的.Because我有500万的网址。提前谢谢。
浏览 3
提问于2012-12-22
得票数 0
1
回答
如何找到在不同的页面上是否实际需要包含的JavaScript文件?
、
、
、
我正在寻找一种方法来搜索站点(或顶级页面列表),并确定是否实际需要包含在相关页面上的
JS
文件,或者哪些页面确实需要特定的
JS
文件。 30k+文件在
网页
目录中,Google索引域的350k+页面。
浏览 4
提问于2013-12-10
得票数 4
1
回答
通过硒的jscriptexecutor更改
网页
中的标签
、
、
方法(使用Selenium):
js
.executeScript("window.onload=function(){document.getElementByIdclass="
浏览 6
提问于2017-05-19
得票数 0
回答已采纳
1
回答
如何在使用节点时爬行jquery站点
、
、
、
我应该
爬
但我怎么才能爬上这个网站。我想它是用jQuery的。有些人说你应该使用ajax。但是我将包含mongodb的
数据库
,所以我将使用node.
js
,如何才能做到这一点?
浏览 8
提问于2016-10-05
得票数 1
回答已采纳
1
回答
查询'S3 source‘路径的雅典娜表和输出列
当前正在使用information_schema.tables列出我的目录中的所有表。我缺少的是一个列,它告诉我每个表(外部)都指向哪个S3路径。 我查了所有的information_schema表,但是看不到这个信息。我唯一通过“sql”看到这个问题的地方是“SHOW CREATE TABLE”命令,该命令不会在正确的记录集中给出结果。 如果做不到..。有没有其他方法可以跟踪所有的表和它们的来源? 非常感谢。
浏览 15
提问于2019-07-03
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Node.js爬取豆瓣数据
如何轻松爬取网页数据?
使用JS和NodeJS爬取Web内容
14行代码带你爬取网页小说
利用Python和BeautifulSoup进行网页爬取
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
活动推荐
运营活动
广告
关闭
领券