腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
服务端渲染如何帮助
爬虫
?服务器端渲染和客户端渲染哪个更好?
angular
、
reactjs
、
web-crawler
、
google-crawlers
我正在阅读angular的服务器端渲染文档,因为它们提到服务器端渲染是帮助
爬虫
。我知道在服务器端渲染
爬虫
可以获得整个dom,但
爬虫
也可以与组件交互,那么它如何帮助
爬虫
呢?
浏览 18
提问于2019-09-15
得票数 0
1
回答
React / Express -服务器端呈现如何使用我的动态
页面
工作
javascript
、
node.js
、
reactjs
、
express
、
rss
我的应用程序由3个静态
页面
和1个动态文章页组成。SSR将如何与搜索引擎
爬虫
工作,以了解我的文章存在?所以,如果我要搜索“我的网站条款”或“我的网站条款栏”,它如何知道这些不同的文章存在?
浏览 2
提问于2017-03-01
得票数 2
回答已采纳
1
回答
谷歌抓取/索引“计算的”或原始的html源代码吗?
php
、
wordpress
、
search
我有一个独特的情况,我有几个
页面
在多个
页面
中“分页”(通过WordPress的“下一页”功能)。相同的内容,分布在两个或更多
页面
上,如下所示:http://mysite.com/mypage/2因此,
页面
本身有一个html
页面
标题标记<title>My Page<
浏览 4
提问于2013-06-22
得票数 2
3
回答
为什么搜索引擎
爬虫
不运行javascript?
javascript
、
ajax
、
search-engine
、
google-crawlers
我一直在使用一些高级的javascript应用程序使用大量ajax请求来呈现我的
页面
。为了使应用程序能够(由谷歌)爬行,我必须遵循。我想知道为什么
爬虫
不运行javascript来获得呈现的
页面
和索引。这背后有什么原因?或者这是搜索引擎未来可能会出现的一个缺失的特性?
浏览 4
提问于2013-10-10
得票数 17
回答已采纳
2
回答
元标记不应该使用
JS
动态更改吗?
javascript
、
html
、
meta-tags
如果我想要更改数据,我可以使用
JS
来完成,而无需重新加载
页面
。百事大吉。 但是,现在,我了解到元标签不能使用
js
更改,应该让它重新加载/刷新page...is,这是正确的吗?
浏览 14
提问于2019-08-18
得票数 2
1
回答
如何轻松地在远程github分支和本地分支/文件夹之间切换?
python
、
git
、
github
、
scrapy
我只能在Python 3
爬虫
做好部署准备之后才能开始使用。我不能一次部署一个
爬虫
。我目前有一个远程分支,它是主分支。让我们称之为遥控器-A。现在,由于“所有操作都必须保持活动状态”,我需要一个单独的Python 3
爬虫
的远程分支。这个分支可以称为Remote-B。我手动创建了这个分支,所以整个存储库现在有两个分支: Master(Remote-A)和
Python3
爬虫
(Remote-B),后者是主分支的一个副本。我还手动创建了一个文件夹,并从
Python3</e
浏览 3
提问于2019-09-10
得票数 0
回答已采纳
1
回答
向机器人隐藏代码
javascript
、
html
、
css
、
seo
、
web-crawler
有没有一种方法只对
爬虫
隐藏
页面
的特定部分?那么,有没有办法对机器人隐藏某些部件,但在未来不会对用户隐瞒?不是整页,只是部分。但没有理由不让智能
js
阅读
爬虫
来隐藏它。麦芽酒
浏览 6
提问于2014-10-16
得票数 0
回答已采纳
1
回答
Symfony DomCrawler如何单击执行
js
代码的链接
javascript
、
laravel
、
symfony
、
web-scraping
、
web-crawler
如何使用
爬虫
来点击执行
js
代码的链接,这个链接没有HREF属性。
爬虫
可以通过客户端在
页面
上执行
js
代码吗?
浏览 82
提问于2021-02-03
得票数 0
2
回答
getStaticProps + fallback:true和getServerSideProps到底有什么不同?
javascript
、
reactjs
、
next.js
它与不经常更新的
页面
一起使用,例如,关于我们的
页面
。paths: [{ params: { id: '1' } }, { params: { id: '2' } }]} 但是,如果我们将fallback:true放在函数返回处,并且在构建时没有生成对
页面
的请求,那么Next.
js
将生成
页面
作为静态
页面
,那么该
页面
上的其他请求将被用作静态请求。据我所知,如果我们使用Next.
js
,getServerSid
浏览 2
提问于2021-02-09
得票数 2
回答已采纳
2
回答
爬虫
/机器人是否消耗Maps API配额?
google-maps
、
google-maps-api-3
由于Google Maps API改为" Credits“,我的问题是:
爬虫
/机器人(来自搜索引擎或监视程序,如"uptrends")会消耗Maps API的Credits吗?
浏览 88
提问于2018-09-03
得票数 3
回答已采纳
2
回答
更新meta标签的content属性
jquery
、
jquery-selectors
我有这个:<meta name="keywords" content="" />谢谢
浏览 1
提问于2010-10-22
得票数 6
回答已采纳
1
回答
搜索引擎在ASP.NET上的角度应用程序爬行
c#
、
asp.net
、
angularjs
、
web-crawler
、
headless-browser
我使用角
js
作为我的web前端,ASP.NET作为我的后端。我正看着和,这两个看起来都像个卵子(对我来说)。
浏览 4
提问于2013-09-17
得票数 0
回答已采纳
1
回答
使用jQuery在head中添加元标记可以吗?
javascript
、
jquery
、
html
、
seo
、
meta
我想在HTML
页面
中有条件地添加元标记,我不确定这样做是否可以或者甚至不使用jQeruy ready。给出了这个例子。
浏览 1
提问于2020-01-06
得票数 1
1
回答
使用IIS重写规则重定向到仅供
爬虫
使用的静态内容的SEO后果
seo
、
web-crawlers
、
javascript
、
angular.js
要解决这个问题,我的想法是使用IIS重写规则来重定向到静态生成的内容(使用Nuxt),如果您的用户代理是已知的
爬虫
。如果出于某种原因,一个真正的用户偶然到达
页面
,我可以将他们重定向回实际内容。 在技术层面上,这不是问题。然而,如果有一个重定向,谷歌不是索引静态内容URL而不是真正的URL (所需的) url吗?
浏览 0
提问于2019-04-18
得票数 0
回答已采纳
1
回答
Gzip / mod_deflate如何影响
爬虫
/蜘蛛/机器人(最终也影响我的seo)?
seo
、
gzip
、
mod-deflate
现在我的问题是Gzip压缩是如何影响访问我的
页面
的
爬虫
的?我的搜索引擎优化会以任何方式受到影响吗? 简而言之,压缩:如何以正确的方式进行压缩?
浏览 6
提问于2015-02-11
得票数 0
1
回答
开放图反应性元信息
facebook-graph-api
、
vue.js
、
axios
、
nuxt.js
因为axios是异步的,所以我的
页面
元素会在发布之前加载。与此同时,facebook已经阅读了“虚拟”元数据。 我不想要预录制,我想保持我的数据尽可能的动态。有办法解决这个问题吗?
浏览 2
提问于2018-10-18
得票数 0
回答已采纳
2
回答
Robots.txt和Coldfusion
coldfusion
、
seo
、
robots.txt
我知道您可以禁止
爬虫
中的: /page1.cfm,但是如果我只想禁止该
页面
的一部分,比如该
页面
上存在的链接或联系人表单,该怎么办?这种功能有可能实现吗?根据我最近读到的一些论坛,"nofollow“功能不再有效,因为
爬虫
变得更智能了。(我不知道那个论坛的可信度如何,所以如果有人有更好的来源,请分享) 有什么建议吗?
浏览 2
提问于2012-06-02
得票数 1
回答已采纳
1
回答
C#
爬虫
程序无法加载动态内容
c#
、
request
、
web-crawler
、
abot
爬虫
可以正确地请求
页面
,但问题是几乎所有内容都是通过knockout.
js
动态加载的。
爬虫
程序目前无法请求此内容,这导致只加载了
页面
的一小部分。我希望加载整个
页面
,但只加载
页面
的底部。谢谢!
浏览 12
提问于2019-07-09
得票数 0
4
回答
如何通过
爬虫
php获取悬停数据(Ajax)
php
、
hover
、
web-crawler
、
simple-html-dom
我能够在一个
页面
上显示完整的内容。但
页面
上的一些数据是在一些图标上悬停并显示为工具提示后出现的。所以我也需要这些数据。有没有可能用任何
爬虫
。 我使用PHP和来解析/抓取
页面
。
浏览 3
提问于2012-03-30
得票数 3
回答已采纳
1
回答
如何通过url参数更改开放图形meta标签内容
javascript
、
html
、
meta-tags
、
url-parameters
我正在尝试使用url参数和打开的图形meta标签来制作一个自定义的嵌入生成器,但是每当我将链接发布到诸如Discord之类的站点时,它都会使用我为其设置的默认标签,而不是url参数。有人知道怎么解决这个问题吗?我已经发布了代码和下面发生的事情的示例图像。 ? <html prefix="og: https://ogp.me/ns#"> <meta property="og:title" content="Title"> <meta property="
浏览 24
提问于2021-02-03
得票数 1
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
爬虫抓取页面图片
JS技法-页面悬浮导航
python3爬虫学习笔记
爬虫抓取页面图片 update
js.ipfs.io页面发布
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券