腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
Symfony DomCrawler如何单击
执行
js
代码的链接
、
、
、
、
如何使用
爬虫
来点击
执行
js
代码的链接,这个链接没有HREF属性。
爬虫
可以通过客户端在页面上
执行
js
代码吗?
浏览 82
提问于2021-02-03
得票数 0
1
回答
使用jQuery在head中添加元标记可以吗?
、
、
、
、
我想在HTML页面中有条件地添加元标记,我不确定这样做是否可以或者甚至不使用jQeruy ready。给出了这个例子。if(myHost.startsWith("techstag")) {}
浏览 1
提问于2020-01-06
得票数 1
1
回答
我可以在我的网站中只呈现元标签作为SSR吗?
、
、
、
、
我有一个完整的网站建立的反应前端和NodeJs + Express后端。我的需求是拥有一个特定路由的动态OG (Open图)标记,这是由特定组件使用的。这是相关的代码:路线:这是DigitalCard组
浏览 4
提问于2021-01-13
得票数 1
3
回答
如何防止昂贵的API被
爬虫
和
爬虫
吃掉?
我注意到,来自蜘蛛和
爬虫
的访问产生了对该API的数千次调用,而我正在为这些调用收费。有没有办法阻止显示由API生成的内容的网页部分,即只有实际的访问者才能看到它,并且在抓取网页时不会生成API调用?
浏览 1
提问于2016-10-23
得票数 2
2
回答
使用node.
js
创建启用javascript的web
爬虫
、
这不一定是一个
爬虫
,但我想它更容易理解说明的方式。我想在node.
js
中
执行
同样的任务。as的res.render似乎不接受html-string作为输入。假设node.
js
get与浏览器获得的地址相同的html? 您可以想到一个web
爬虫</e
浏览 2
提问于2015-02-01
得票数 2
2
回答
元标记不应该使用
JS
动态更改吗?
、
、
如果我想要更改数据,我可以使用
JS
来完成,而无需重新加载页面。百事大吉。 但是,现在,我了解到元标签不能使用
js
更改,应该让它重新加载/刷新page...is,这是正确的吗?
浏览 14
提问于2019-08-18
得票数 2
4
回答
用php编写客户端重定向服务器端
、
、
、
我不想做301 - 302 - 307等重定向的原因是因为我希望页面向
爬虫
程序发送一个200HTTP OK响应。我通常使用混淆的JavaScript在静态use主机(如S3 )上
执行
此操作,但是,我意识到
爬虫
程序可能会拾取
JS
,因为它是客户端。我使用的未被阻塞的
JS
代码示例;然而,
爬虫
很难找到PHP,所以我想做一个类似的重定向,但用的是PHP。
浏览 0
提问于2015-07-29
得票数 0
3
回答
模态javascript弹出窗口(如fancybox)会影响seo
爬虫
吗?
、
、
我很好奇这对
爬虫
(googlebot)有什么影响。我们意识到模式弹出窗口对排名有其他行为影响(例如,弹跳率等)。我很好奇,模态javascript/html代码的存在是否会对搜索排名产生负面影响。
浏览 0
提问于2011-12-23
得票数 6
回答已采纳
1
回答
如何通过url参数更改开放图形meta标签内容
、
、
、
我正在尝试使用url参数和打开的图形meta标签来制作一个自定义的嵌入生成器,但是每当我将链接发布到诸如Discord之类的站点时,它都会使用我为其设置的默认标签,而不是url参数。有人知道怎么解决这个问题吗?我已经发布了代码和下面发生的事情的示例图像。 ? <html prefix="og: https://ogp.me/ns#"> <meta property="og:title" content="Title"> <meta property="
浏览 24
提问于2021-02-03
得票数 1
回答已采纳
4
回答
用C#解析和
执行
JS
、
、
我有简单的
爬虫
爬行和搜索页面。但是现在我遇到了如何从页面
执行
和解析
js
链接的问题。有人知道如何解析和
执行
js
页面吗? some_url很容易用webhtmltoolktit解析。JAVASCRIPT(1,7,0,2,7,9)是
js
链接,然后重定向到some_url2页面,然后我需要爬行这个页面。但问题是如何在C#中
执行
这个javascript以获得some_url2链接?
浏览 13
提问于2011-01-20
得票数 24
回答已采纳
1
回答
爬行url \如何在node.
js
中获取动态链接
、
我正在使用
js
爬虫
来抓取网站,现在我遇到了CNN,的那一部分(基于某种原因动态生成的urls)。事情是
爬虫
,不要真正接触脚本-我应该如何解决它?除了我的node.
js
爬虫
之外,我还应该编写自己的代码吗?是否有先进的
爬虫
知道如何处理这种动态行为?
浏览 1
提问于2016-07-23
得票数 2
回答已采纳
2
回答
阻止爬网程序跟踪javascripts中的链接
、
、
somepath/template_1.html';//and so on现在,
爬虫
正在尝试跟踪这些链接
浏览 0
提问于2013-02-22
得票数 0
2
回答
如何使用python获取重定向URL?(CURLOPT_FOLLOWLOCATION不工作)
、
、
我正在从一个网站抓取信息:被重定向到我用过"curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true)“。我知道它会自动重定向5时间。curl_exec返回: 内容-编码: gzip内容-长度: 20内容-类型: text/html日期: Mon,2015年4月13日12:03:19 GMT连接:保持
浏览 6
提问于2015-04-13
得票数 0
2
回答
针对Crawler和Bots的HTML 5存储
、
、
、
我目前正在编写视图/访问者计数器的代码,该计数器检查访问者是人还是机器人/
爬虫
。我已经找到了一些解决办法,我用过。
浏览 3
提问于2018-01-10
得票数 0
回答已采纳
1
回答
Googlebot
执行
谷歌标签管理器吗?
、
、
、
我想了解Googlebot (和其他
爬虫
)如何爬行我的网站。具体而言,它是否传递一个document.referrer,如果它维护localStorage密钥,那么我通过Google实现了一个脚本,该脚本检测这些
爬虫
并将数据记录到Logstash。这是我用来检测
爬虫
用户代理的条件(为
爬虫
返回true ):if(navigator.userAgent.indexOf('robot de Google') < 0 &&;
js
= d.cr
浏览 0
提问于2018-02-09
得票数 4
回答已采纳
3
回答
为什么搜索引擎
爬虫
不运行javascript?
、
、
、
我想知道为什么
爬虫
不运行javascript来获得呈现的页面和索引。这背后有什么原因?或者这是搜索引擎未来可能会出现的一个缺失的特性?
浏览 4
提问于2013-10-10
得票数 17
回答已采纳
1
回答
哪些搜索引擎蜘蛛
执行
javascript?
、
、
、
我刚刚遇到了一个叫"Google Web Preview“的Google
爬虫
问题。显然,它正在
执行
javascript。我好奇的是,当其他在线机器人爬行/查看页面时,它们会运行
JS
。
浏览 0
提问于2011-07-06
得票数 2
1
回答
用节点
爬虫
或简单
爬虫
进行NodeJS网络爬行
、
我是网络
爬虫
的新手,我需要一些关于这两个节点
JS
爬虫
的提示。是否还有其他NodeJS
爬虫
或蜘蛛可以只请求和记录URL?
浏览 0
提问于2018-05-07
得票数 2
回答已采纳
1
回答
向机器人隐藏代码
、
、
、
、
有没有一种方法只对
爬虫
隐藏页面的特定部分?那么,有没有办法对机器人隐藏某些部件,但在未来不会对用户隐瞒?不是整页,只是部分。但没有理由不让智能
js
阅读
爬虫
来隐藏它。麦芽酒
浏览 6
提问于2014-10-16
得票数 0
回答已采纳
3
回答
如何在使用JQuery显示隐藏的div时维护SEO
、
、
、
我在我的许多网站上使用jquery,我担心任何隐藏的div中将用于对话框的内容都不是搜索引擎友好的,我想知道是否:在网页上使用jQuery UI对话框/选项卡或其他隐藏元素的最佳实践是什么?(以确保SEO的最佳结果)
浏览 2
提问于2010-11-04
得票数 14
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
python调用js代码执行
scrapy如何顺序执行多个爬虫
10 分钟理解 JS 引擎的执行机制
爬虫之旅(2)——网页知识储备html、css及js
JS进阶 执行上下文和作用域链
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
活动推荐
运营活动
广告
关闭
领券