腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
禁用
js
时,在reactjs中设置动态元标记
、
我遇到了一些问题谷歌
爬虫
和元标签,我使用反应头盔(没有ssr)的反应ssr。反应头盔确实有效,但谷歌搜索似乎找不到我添加的标签。我知道
爬虫
在没有启用
js
的情况下运行
网站
,在测试时我可以看到,当
js
被禁用时,头盔不会呈现标签(启用时可以正常工作)。知道
怎么
做吗? 谢谢你的帮助。
浏览 0
提问于2020-12-28
得票数 0
回答已采纳
1
回答
爬行url \如何在node.
js
中获取动态链接
、
我正在使用
js
爬虫
来抓取
网站
,现在我遇到了CNN,的那一部分(基于某种原因动态生成的urls)。事情是
爬虫
,不要真正接触脚本-我应该如何解决它?除了我的node.
js
爬虫
之外,我还应该编写自己的代码吗?是否有先进的
爬虫
知道如何处理这种动态行为?
浏览 1
提问于2016-07-23
得票数 2
回答已采纳
1
回答
使用IIS重写规则重定向到仅供
爬虫
使用的静态内容的SEO后果
、
、
、
我有一个AngularJS
网站
,这是相当缓慢,这是导致搜索引擎优化相当差。更不用说,元数据不能正确呈现。要解决这个问题,我的想法是使用IIS重写规则来重定向到静态生成的内容(使用Nuxt),如果您的用户代理是已知的
爬虫
。
浏览 0
提问于2019-04-18
得票数 0
回答已采纳
3
回答
模态javascript弹出窗口(如fancybox)会影响seo
爬虫
吗?
、
、
我很好奇这对
爬虫
(googlebot)有什么影响。我们意识到模式弹出窗口对排名有其他行为影响(例如,弹跳率等)。我很好奇,模态javascript/html代码的存在是否会对搜索排名产生负面影响。
浏览 0
提问于2011-12-23
得票数 6
回答已采纳
1
回答
从整个WebSite中提取所有URL
、
、
我想抓取一个
网站
使用C#或VB.NET。我希望
爬虫
从网页中提取网址,我也希望
爬虫
遵循网址,以便我能够从
网站
中提取所有的网址。 我该
怎么
写呢?
浏览 1
提问于2011-04-06
得票数 0
1
回答
这是一个搜索引擎优化错误,没有加载谷歌-搞笑
js
的
爬虫
?
、
不会为
爬虫
加载google-analitics
js
会导致问题吗?这对SEO不好吗?
浏览 0
提问于2017-09-19
得票数 1
2
回答
浏览器限制会影响网页
爬虫
吗?
、
、
return Redirect("/h"); return View(); 问题:如果我限制一些浏览器访问我的主视图,它也会限制对网络
爬虫
的访问吗
浏览 0
提问于2013-02-21
得票数 0
回答已采纳
3
回答
如何使google bots用动态url爬行我的反应
网站
并在google中显示它们
、
、
、
我有这个
网站
,我们可以创造新的问题。每当一个新的问题被创建,一个新的url生成,我希望谷歌爬我的
网站
,每次添加一个新的问题,并显示在谷歌。我的sitmap链接我的express.
js
链接 我想将添加到google搜索控制台
浏览 3
提问于2021-12-28
得票数 6
1
回答
需要用户身份验证的页面的meta标记有帮助吗?
、
、
、
、
我已经建立了我的第一个rails应用程序,正在进行一些SEO优化。这是一个社交网络应用程序,所以它有静态页面和动态页面。显然,动态页面需要用户身份验证-用户配置文件、好友搜索、帐户设置、消息等。那么您需要帐户才能访问这些页面吗?这是否意味着从搜索引擎优化的角度来看,这些页面是无用的?如果我只是在application.html.erb中包含元标记,然后就到此为止,我会觉得没问题吗?
浏览 0
提问于2013-06-26
得票数 1
回答已采纳
1
回答
在性能方面,为什么facebook不一次加载所有的
JS
文件?
、
登录后,我查看了facebook中的html代码,他们似乎对
JS
文件做了很多请求(根据firebug,多达20个)。所以,虽然我知道facebook需要加载许多
JS
和CSS文件(而不是一个
JS
和一个CSS文件),但我的问题是更通用的
网站
和网络
爬虫
的状态。我们应该担心这些技术(通过ajax加载主要内容)会影响网络
爬虫
(googlebot和朋友)吗?我想提高性能,加载“稍后需要”的内容(text/
js
/css)似乎是个好主意,但如果
爬虫
浏览 2
提问于2013-03-18
得票数 3
1
回答
编写可与任何服务器保持登录状态的crawler
、
、
、
、
我正在写一个
爬虫
。一旦
爬虫
登录到一个
网站
,我想使
爬虫
“停留-始终登录”。我该
怎么
做呢?客户端(如浏览器、
爬虫
等)使服务器遵守此规则吗?当服务器在一天内允许有限的登录时,可能会出现这种情况。
浏览 0
提问于2009-11-26
得票数 0
回答已采纳
1
回答
如何在Linux终端上运行包含javascript内容的html文件?
、
、
我正在研究一个
网站
爬虫
机器人,从中提取特定的信息。我至少需要在html文件上运行"on document ready“javascript函数,这样才能生成内容并获得它。我该
怎么
做呢?我看到一个叫"rhino“的命令,但它似乎只适用于.
js
文件,该文件是一个html文件。正如你可以猜到的,它里面包含html和
JS
。我们的计划是:下载html文件,编辑它们的"on document ready“
js
函数,获取输出,传递下一个,重复。
浏览 82
提问于2019-02-11
得票数 0
回答已采纳
1
回答
/和index.php.如何消除这个重复的页面问题?
、
在我的
网站
根目录中,我有一个index.php,当然还有其他的页面。问题是,当我用
爬虫
或站点地图
爬虫
等爬行我的
网站
时,它会报告两个重复的链接。www.domain.com/ 如何强制告诉我的
爬虫
没有相同页面的两个实例?我是否使用301合并它们?一个规范?.htaccess重定向?等等,我该
怎么
解决这个问题?
浏览 0
提问于2014-09-12
得票数 0
回答已采纳
1
回答
如果我们要用Hadoop和Solr做一个搜索引擎,NUTCH的作用是什么?
、
、
我想在其中爬行一些
网站
,并将其索引和信息存储在Hadoop中。然后使用Solr搜索就可以了。但我面临着很多问题。5)请解释我一个步骤,如果可能的话,我如何爬行一些
网站
,并将其信息保存到数据库(Hadoop或任何其他),然后做搜索。提前说一声非常感谢。
浏览 2
提问于2012-09-06
得票数 3
1
回答
网络
爬虫
会遇到什么危险?
我刚写完一个
爬虫
,一直在想为什么爬行某个
网站
会很糟糕。我知道现代浏览器的风险主要是由javascript造成的。因此,我的问题是,web
爬虫
(用PHP或Java编写)是否能够刮起可能会对
爬虫
造成损害的站点?
浏览 3
提问于2014-11-08
得票数 1
1
回答
Google运行代理IP
、
、
、
我的用例是托管一个,它解析多个启用地理封锁的
网站
。例如,我的应用程序需要爬行
网站
A,它只允许来自亚洲国家的流量,另一个
网站
B只允许来自美国的流量。
浏览 13
提问于2022-01-19
得票数 0
1
回答
水疗
网站
,做一个HTML版本的搜索引擎优化是值得的吗?
、
、
、
我做了一个Vue.
js
SPA,因为它可能会影响搜索引擎优化(特别是因为我的大部分客户群不使用谷歌),我在想:为什么不为它提供一个HTML版本呢?
浏览 0
提问于2018-11-26
得票数 1
2
回答
有没有办法在python中抓取网页,让
爬虫
只抓取新的链接。
、
、
我有一个
爬虫
代码,从一个
网站
获得所有的链接,需要2-3个小时来获得大约30000个链接,并在数据库中存储。如果下次运行
爬虫
程序时,我只想插入新的链接,该
怎么
办?我知道我可以在插入数据库之前做一个过滤器,但我希望
爬虫
只抓取新的链接,而不是再次抓取旧链接(基本上是整个
网站
)。有没有可能做这样的事情?
浏览 1
提问于2018-04-18
得票数 0
3
回答
使用Javascripts或Web表单对
网站
进行爬行
、
、
、
我有一个网络
爬虫
应用程序。它成功地抓取了大多数常见和简单的
网站
。现在,我遇到了一些类型的
网站
,其中HTML文档是通过表单或javascripts动态生成的。我相信它们是可以被爬行的,只是我不知道
怎么
做。现在,这些
网站
并不显示实际的HTML页面。我的意思是,如果我在IE或firefox中浏览该页面,HTML代码与IE或firefox中的实际内容不匹配。哪些属于这些高级类型的
网站
? 谢谢。
浏览 0
提问于2010-03-30
得票数 5
回答已采纳
1
回答
排除用户代理,以便Google抓取我的
网站
、
、
我在我的
网站
上有一个脚本(年龄检查cookie脚本) if(!$.cookie("date") && [*id*] !</script>我需要从脚本中排除
爬虫
但是我该
怎么
做呢?正如你在这里看到的,页面不再在索引中了: 谷歌似乎能够检测到
JS
?有关此日期的更多信息:
浏览 0
提问于2016-03-10
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
被网站判断为爬虫封锁之后怎么办?
php 网站爬虫入门
爬虫之旅(2)——网页知识储备html、css及js
网站反爬虫常见方法
全球最大XX网站爬虫分享
热门
标签
更多标签
云服务器
ICP备案
实时音视频
云直播
对象存储
活动推荐
运营活动
广告
关闭
领券