腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
facebook
爬虫
需要ajax预渲染页面吗
、
、
有了angular
JS
的
网站,google就能够
解析
解释过
的
内容。但是与facebook共享一个链接,facebook
爬虫
是否也能够
解析
解释
的
内容,或者我们必须提供静态页面(例如prerender.io)?
浏览 39
提问于2016-08-16
得票数 0
4
回答
用C#
解析
和执行
JS
、
、
我有简单
的
爬虫
爬行和搜索页面。但是现在我遇到了如何从页面执行和
解析
js
链接
的
问题。有人知道如何
解析
和执行
js
页面吗? some_url很容易用webhtmltoolktit
解析
。JAVASCRIPT(1,7,0,2,7,9)是
js
链接,然后重定向到some_url2页面,然后我需要爬行这个页面。
浏览 13
提问于2011-01-20
得票数 24
回答已采纳
1
回答
如果Javascript已禁用,则SEO重定向
、
、
我
的
网站非常依赖Javascipt。因此,如果用户禁用了Javascript,我会使用下面显示
的
meta标记将他们重定向到另一个页面。据我所知,网络
爬虫
不使用Javascript (我认为)。这会对我
的
SEO有什么影响吗?流行
的
爬虫
是否能够爬行我
的
网站,或者只能爬行我重定向到
的
页面?
浏览 1
提问于2014-06-14
得票数 0
1
回答
如何忽略phantomjs中
的
错误
、
我有一个web
爬虫
,我使用phantomjs来
解析
页面,我想得到html,但我总是在html代码之前在输出中得到这种类型
的
错误。ReferenceError: Can't find variable: collapse_content_selector http://staticloads.com/
js
/toggle.
js
浏览 0
提问于2013-10-19
得票数 26
回答已采纳
1
回答
开放图反应性元信息
、
、
、
我
的
OG元信息对于某个链接(例如博客帖子链接)来自一个数据库(例如,博客帖子需要一段时间
的
加载)。我不想要预录制,我想保持我
的
数据尽可能
的
动态。有办法解决这个问题吗?
浏览 2
提问于2018-10-18
得票数 0
回答已采纳
2
回答
Web Crawler与Html
解析
器
、
、
、
web
爬虫
和
解析
器有什么区别? 他们
的
目的是一样
的
吗?
浏览 3
提问于2018-11-14
得票数 2
回答已采纳
3
回答
如何防止昂贵
的
API被
爬虫
和
爬虫
吃掉?
我使用
的
API非常昂贵。每次通话
的
费用约为1美分。我注意到,来自蜘蛛和
爬虫
的
访问产生了对该API
的
数千次调用,而我正在为这些调用收费。有没有办法阻止显示由API生成
的
内容
的
网页部分,即只有实际
的
访问者才能看到它,并且在抓取网页时不会生成API调用?
浏览 1
提问于2016-10-23
得票数 2
1
回答
如何使用PHP从另一个网站获取数据并将其存储在MySQL数据库中?
、
、
我还想获取图像并将它们保存在我
的
服务器中,以便在我
的
站点中显示它们。我听说可以使用API,但是我想知道我是否可以使用CURL来完成这个任务。我想每天获取大量
的
数据,那么使用CURL会消耗大量
的
服务器端资源吗?还有哪些其他方法可以获取数据?
浏览 5
提问于2011-08-17
得票数 1
2
回答
从HTML字符串中
解析
所有URL
的
最好方法是什么?
、
、
在接下来
的
几周里,我正在Node上写一个网络
爬虫
来取乐。在我
的
原型中,我使用jsdom来查询页面,然后搜索所有的锚并将href添加到我
的
爬行列表中。我意识到,如果我
解析
出源之外
的
任何URL (例如,文本中
的
URL),我可能会找到更多
的
URL。我想知道是否有任何好
的
javascript库可以使用regex或其他方法来实现。更新: 虽然我最初选择克里斯
的
答案如下,我是有点触发高兴,因为事实证明。不幸
的
是
浏览 6
提问于2011-09-20
得票数 1
回答已采纳
3
回答
BeautifulSoup
爬虫
解析
、
我正在尝试使用bs4制作一个
爬虫
,这是我要从 <html>~~ </ul> </layers...></html>#-*- coding: utf-8 -*-
浏览 0
提问于2018-04-12
得票数 2
回答已采纳
1
回答
使用php检查AngularJS网页上是否存在某个字符串。
、
、
我看到这样
的
答案:检查网页中是否存在字符串-- ,它起作用了 但是如何在使用Angularjs
的
外部网页上检查字符串呢?是否仍然可以使用php curl或其他语言进行搜索。
浏览 17
提问于2017-02-24
得票数 1
1
回答
有没有一种HTML5方法可以有条件地在无头浏览器上排除脚本标签?
、
、
我们使用prerender类型
的
软件为
爬虫
呈现我们
的
单页面应用程序,我们想要排除所有按印象付费
的
第三方script标签。使用writeln或通过创建dom元素在
JS
中动态加载它们意味着等待
JS
被
解析
以导入非常重要
的
库(比如Optimizely --我们希望尽可能早地加载它,以避免dom闪现)。 有没有类似于<!-- if[IE] -->
的
条件注释,我们可以用来从无头浏览器中排除代码块?
浏览 2
提问于2017-10-11
得票数 0
1
回答
如何从网站
的
数据库中抓取链接?
、
、
我想写一个简单
的
爬虫
将链接保存在数据库(mysql)中,并使用链接在网站上公布
的
时间戳(而不是
爬虫
检测到链接
的
时间)。如您所知,新闻网站每天都会生成链接(我想基本上
解析
它们
的
所有链接(不仅仅是今天打印
的
链接,还包括生成before...and
的
所有链接--所有这些链接都保存在新闻网站数据库中)。我不知道我想爬
的
新闻网站使用
的</
浏览 4
提问于2014-06-06
得票数 3
回答已采纳
2
回答
客户端模板和搜索引擎引用
、
、
我最近不断听到关于javascript模板引擎
的
消息,比如knockoutjs或backbone。它们看起来都很酷,但我想知道使用这样
的
系统是否会阻碍网页
的
良好索引。搜索引擎
的
爬虫
能够
解析
javascript数据吗?我认为将页面内容放在javascript中是一种糟糕
的
做法,因为有些
爬虫
无法
解析
这些内容。
浏览 0
提问于2012-02-29
得票数 2
回答已采纳
3
回答
如何让HTMLParser在出现
解析
错误后继续
解析
?
、
、
、
我正在创建一个网络
爬虫
,我使用HTMLParser模块来
解析
超文本标记语言文档中
的
链接。如果
解析
器遇到错误
的
标记,它会引发
解析
错误并终止应用程序。由于
爬虫
遍历了整个web,所以这个错误经常会被抛出。这样做
的
问题是,我真的不知道如何使用提供
的
“补丁”,我也不理解评论。 我希望覆盖HTMLParser模块
的
默认行为,以允许它在出现
解析
错误后继续
解析
。
浏览 0
提问于2011-04-20
得票数 1
回答已采纳
2
回答
在保留文件夹结构
的
同时从视图源下载html
的
简单方法?
、
、
、
、
我想把我点击"view source“得到
的
html转换成一组具有正确html/
js
/css文件和文件夹层次结构
的
文件夹。谢谢!
浏览 1
提问于2013-08-01
得票数 0
3
回答
非常简单
的
C++网络
爬虫
/蜘蛛?
、
我试图在C++中做一个非常简单
的
网页
爬虫
/蜘蛛应用程序。我一直在使用谷歌搜索一个简单
的
,以了解这个概念。我发现了这个: 查找,可能是“href”链接,然后存储在某个数据文件中。互联网上是否有更简单
的
教程或指南?
浏览 15
提问于2010-11-25
得票数 22
回答已采纳
3
回答
使用Java读取文件
的
最后n个字节
、
、
我有一个
爬虫
程序,记录一些文件。有时在服务器上,会发生一些错误,
爬虫
会创建大量无法
解析
的
日志文件。出于这个原因,我想创建一个简单
的
程序,它读取日志文件末尾
的
大约1000个字符,并向我显示消息(即使
爬虫
仍在写入该文件)。这将帮助我在不关闭
爬虫
的
情况下解决问题。
浏览 1
提问于2013-03-10
得票数 7
回答已采纳
3
回答
Java设计问题-类、函数、访问修饰符
、
、
我是Java
的
新手。我有一些设计问题。如何决定是实现函数还是类?--
解析
器是
爬虫
类
的
函数,还是它本身应该是类,以便其他应用程序也可以使用它?--如果应该是类,是保护类还是公共类?,如何在实现公共类还是受保护类之间作出决定?--如果我必须创建一个类来从
解析
的
内容生成统计信息,例如,应该保护这个类(所以只有
爬虫
类才能访问它)还是应该是公
浏览 1
提问于2010-05-04
得票数 1
1
回答
爬行url \如何在node.
js
中获取动态链接
、
我正在使用
js
爬虫
来抓取网站,现在我遇到了CNN,
的
那一部分(基于某种原因动态生成
的
urls)。事情是
爬虫
,不要真正接触脚本-我应该如何解决它?除了我
的
node.
js
爬虫
之外,我还应该编写自己
的
代码吗?是否有先进
的
爬虫
知道如何处理这种动态行为?
浏览 1
提问于2016-07-23
得票数 2
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Vue.js 技术解析
Python爬虫解析与爬虫实现的方式,实战归纳,大乱斗!
python爬虫基础(2)—pyquery解析
Python爬虫的两套解析方法和四种爬虫实现
爬虫系列之《发布时间》解析
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
活动推荐
运营活动
广告
关闭
领券