腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
爬行url \
如何
在node.
js
中获取动态链接
、
我正在
使用
js
爬虫
来抓取网站,现在我遇到了CNN,的那一部分(基于某种原因动态生成的urls)。事情是
爬虫
,不要真正接触脚本-我应该
如何
解决它?除了我的node.
js
爬虫
之外,我还应该编写自己的代码吗?是否有先进的
爬虫
知道
如何
处理这种动态行为?
浏览 1
提问于2016-07-23
得票数 2
回答已采纳
1
回答
使Angular网站的AMP版本可爬行
、
、
、
、
问题是
爬虫
找不到规范的站点,因为它是通过Angular动态加载的。有没有可能绕过这个限制,比如在Angular项目的索引站点中放置对所有对象的引用?更清楚地说:object的详细视图: mysite.com/#/ detail /object1 如果我根据当前显示的对象动态添加对amp页面的引用,
爬虫
将找不到amp
浏览 1
提问于2017-09-18
得票数 0
1
回答
Symfony DomCrawler
如何
单击执行
js
代码的链接
、
、
、
、
如何
使用
爬虫
来点击执行
js
代码的链接,这个链接没有HREF属性。
爬虫
可以通过客户端在页面上执行
js
代码吗?
浏览 82
提问于2021-02-03
得票数 0
1
回答
在nodejs/express中
如何
允许
爬虫
使用
站点地图
、
、
在nodejs/express中,
如何
允许
爬虫
使用
站点地图?app.
js
RouteHandler.
js
var routesIndex
浏览 2
提问于2015-09-06
得票数 1
回答已采纳
1
回答
谷歌广告不承认他们的代码,如果这是与Javascript?
、
我已经(我相信)根据他们的指示在Adsense接口中启用了
爬虫
访问。<script type="text/javascript"\n\ src="http://pagead2.googlesyndication.com/pagead/show_ads.
js
我知道,如果我在Firefox中查看页面的源代码,那么它将是不可见的,但是如果我
使用
Firebug查看页面,那么Javascript生成的内容是显
浏览 2
提问于2012-06-21
得票数 1
2
回答
如何
打开需要node.
js
的web应用程序
、
、
、
我必须运行微
爬虫
,这是一个
爬虫
网络应用程序,与node.
js
运行。我不知道
如何
打开这个应用程序,我下载了node.
js
,当我在node.
js
命令行中编写install npm和install bower时,什么也没有发生。我也不知道
如何
在安装后启动web应用程序。
浏览 2
提问于2014-09-28
得票数 1
1
回答
在Python中执行网页上的Javascript方法
、
、
如何
从Python中调用此Javascript方法,以便获取该网页所有页面? 我发现了一个相关的问题,建议在哪里
使用
(Rhino,V8,SeaMonkey),但我完全没有得到这个。
浏览 2
提问于2012-11-19
得票数 8
回答已采纳
1
回答
处理远程:真正的链接和搜索机器人
、
、
、
、
我经常
使用
remote: true链接。在大多数情况下,响应可以是
js
或html,因此搜索机器人不会造成问题我
如何
设置链接,使搜索机器人(谷歌,冰,其他
爬虫
)不会尝试它?或者-是否有一种类型的响应我应该返回,以便
爬虫
知道不要返回到那个url?
浏览 2
提问于2014-12-03
得票数 2
1
回答
如何
在node.
js
中发出https请求
、
、
我要做个
爬虫
。对于http请求,我曾经这样做过。', function () { }); http.request(options, callback).end(); throw er; // Unhandled 'error' eventError: getaddrin
浏览 2
提问于2015-01-18
得票数 1
回答已采纳
1
回答
如何
使用
Node.
js
爬虫
网
我
如何
修改我的代码,谢谢const cheerio = require("cheerio"); const puppeteer
浏览 5
提问于2022-09-01
得票数 -1
1
回答
在性能方面,为什么facebook不一次加载所有的
JS
文件?
、
登录后,我查看了facebook中的html代码,他们似乎对
JS
文件做了很多请求(根据firebug,多达20个)。所以,虽然我知道facebook需要加载许多
JS
和CSS文件(而不是一个
JS
和一个CSS文件),但我的问题是更通用的网站和网络
爬虫
的状态。我们应该担心这些技术(通过ajax加载主要内容)会影响网络
爬虫
(googlebot和朋友)吗?我想提高性能,加载“稍后需要”的内容(text/
js
/css)似乎是个好主意,但如果
爬虫
不能
使用<
浏览 2
提问于2013-03-18
得票数 3
1
回答
C#
爬虫
程序无法加载动态内容
、
、
、
我正在
使用
Abot库来抓取网页。
爬虫
可以正确地请求页面,但问题是几乎所有内容都是通过knockout.
js
动态加载的。
爬虫
程序目前无法请求此内容,这导致只加载了页面的一小部分。我试着让程序等待,希望动态的请求无论
如何
都会被发送,但这似乎不起作用。
如何
才能使crawler请求所有数据? 谢谢!
浏览 12
提问于2019-07-09
得票数 0
2
回答
阻止爬网程序跟踪javascripts中的链接
、
、
somepath/template_1.html';//and so on现在,
爬虫
正在尝试跟踪这些链接
如何
防止这种情况发生?
浏览 0
提问于2013-02-22
得票数 0
2
回答
ASP.NET网络Api会不会对搜索引擎优化不利?
、
假设页面的所有内容都是由javascript拉取的……搜索引擎
爬虫
能够获取页面内容吗? 我听说
爬虫
在页面上爬行时并不总是支持javascript或执行javascript。
浏览 1
提问于2012-07-30
得票数 0
1
回答
向机器人隐藏代码
、
、
、
、
有没有一种方法只对
爬虫
隐藏页面的特定部分?那么,有没有办法对机器人隐藏某些部件,但在未来不会对用户隐瞒?不是整页,只是部分。但没有理由不让智能
js
阅读
爬虫
来隐藏它。麦芽酒
浏览 6
提问于2014-10-16
得票数 0
回答已采纳
1
回答
Next.
js
与CRA相比
如何
提高SEO?
、
、
我是这个框架的新手,在通过互动学习之后,我有一些关于Next.
js
如何
处理SEO问题的问题。Next.
js
粗体功能是它在服务器端呈现React组件的能力,然而,据我所知,它只在服务器端呈现 first 请求,而其他请求将在客户端呈现,那么它
如何
在第一个假设为SEO friendly?Based、像google这样的
爬虫
器访问我们的站点、然后作为完整的HTML页面返回第一个响应,但是对于接收到的页面内的其他连续链接,它
如何
做得更好呢?它应该
使用
Javascript(这是S
浏览 3
提问于2020-02-09
得票数 3
回答已采纳
3
回答
使用
Javascripts或Web表单对网站进行爬行
、
、
、
我有一个网络
爬虫
应用程序。它成功地抓取了大多数常见和简单的网站。现在,我遇到了一些类型的网站,其中HTML文档是通过表单或javascripts动态生成的。
浏览 0
提问于2010-03-30
得票数 5
回答已采纳
1
回答
服务端渲染
如何
帮助
爬虫
?服务器端渲染和客户端渲染哪个更好?
、
、
、
我正在阅读angular的服务器端渲染文档,因为它们提到服务器端渲染是帮助
爬虫
。我知道在服务器端渲染
爬虫
可以获得整个dom,但
爬虫
也可以与组件交互,那么它
如何
帮助
爬虫
呢?
浏览 18
提问于2019-09-15
得票数 0
1
回答
wcf web api和wcf jquery支持中的安全处理
、
、
、
如果客户端通过jquery请求wcf服务,wcf
如何
检测是否真的是我的客户端代码或
爬虫
应用程序/我修改后的
js
(
使用
参数组合请求)正在爬行我的数据库?Serdar Irmak
浏览 2
提问于2011-07-26
得票数 0
回答已采纳
1
回答
如何
检测Nodejs服务器上的crawler流量
、
、
我已经开发了Nodejs express服务器,我关心的是
爬虫
流量....i意味着如果有人开始向我的服务器发送请求使其宕机,那么
如何
检测或避免这种情况。 提前谢谢。
浏览 0
提问于2016-04-10
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
如何使用海外爬虫HTTP代理避免被限制?
什么是爬虫代理ip?如何使用多米HTTP代理进行爬虫数据采集?
JavaScript的使用:如何让按钮不被 JS 自动点击
python网络爬虫:正则提取爬虫结果,教你如何使用正则表达式
如何使用 JS 实现一个本地数据库?
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
云直播
活动推荐
运营活动
广告
关闭
领券