腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
描述在google搜索+重定向元标签到粉丝
页面
redirect
、
seo
、
meta-tags
这是我
的
问题..。当我尝试在google中搜索“dbr”时,它返回
的
是这个网站作为第一个选项。但问题是,html有一个元标签,将用户重定向到facebook
的
粉丝
页面
……谷歌正在获取这个粉丝
页面
的描述和标题!当我试图像dbrinterativa.com ()一样在谷歌中搜索它
的
网址时,它告诉我robots.txt不允许谷歌获取它
的
元数据……这是我
的
的
链接 有人知道我能做些什么来<e
浏览 0
提问于2012-11-10
得票数 0
2
回答
从Facebook强制OpenGraph“
爬虫
”“
跳转
到另一个url”
facebook
、
facebook-opengraph
嘿,伙计们,有没有办法迫使facebook
爬虫
跳转
到另一个URL。(使用Javascript)示例:我有一个标准
的
Facebook URL,用于点赞按钮和更多。它们看起来像这样: 克里斯
浏览 1
提问于2012-01-20
得票数 0
回答已采纳
1
回答
一个模板-多个
页面
:我可以使用动态网站地图吗?
javascript
、
ajax
、
seo
我有一个搜索不同机构
的
推荐
的
应用程序。该应用程序本身是一个基于AJAX
的
单
页面
应用程序,但是为了模拟有状态,URL通过History.replaceState()方法动态更改。我注入
的
URL也作为单独
的
HTML
页面
存在,所以当一个人复制URL时,他可以重用它来直接加载他所寻找
的
推荐。此模板也由JavaScript填充。URL结构非常简单: http://mattat.org.il/ci/index.php&
浏览 0
提问于2012-11-19
得票数 2
回答已采纳
1
回答
服务端渲染
如何
帮助
爬虫
?服务器端渲染和客户端渲染哪个更好?
angular
、
reactjs
、
web-crawler
、
google-crawlers
我正在阅读angular
的
服务器端渲染文档,因为它们提到服务器端渲染是帮助
爬虫
。我知道在服务器端渲染
爬虫
可以获得整个dom,但
爬虫
也可以与组件交互,那么它
如何
帮助
爬虫
呢?从安全
的
角度来看,服务器端渲染和客户端渲染哪个更好?我也为react读到了同样
的
东西。
浏览 18
提问于2019-09-15
得票数 0
3
回答
为什么搜索引擎
爬虫
不运行javascript?
javascript
、
ajax
、
search-engine
、
google-crawlers
我一直在使用一些高级
的
javascript应用程序使用大量ajax请求来呈现我
的
页面
。为了使应用程序能够(由谷歌)爬行,我必须遵循。这告诉我们要做这样
的
事情:重新设计我们
的
链接,创建html快照,.使该网站可搜索。 我想知道为什么
爬虫
不运行javascript来获得呈现
的
页面
和索引。这背后有什么原因?或者这是搜索引擎未来可能会出现
的
一个缺失
的
特性?
浏览 4
提问于2013-10-10
得票数 17
回答已采纳
1
回答
爬行url \
如何
在node.
js
中获取动态链接
node.js
、
web-crawler
我正在使用
js
爬虫
来抓取网站,现在我遇到了CNN,
的
那一部分(基于某种原因动态生成
的
urls)。事情是
爬虫
,不要真正接触脚本-我应该
如何
解决
它?除了我
的
node.
js
爬虫
之外,我还应该编写自己
的
代码吗?是否有先进
的
爬虫
知道
如何
处理这种动态行为?
浏览 1
提问于2016-07-23
得票数 2
回答已采纳
1
回答
Symfony DomCrawler
如何
单击执行
js
代码
的
链接
javascript
、
laravel
、
symfony
、
web-scraping
、
web-crawler
如何
使用
爬虫
来点击执行
js
代码
的
链接,这个链接没有HREF属性。
爬虫
可以通过客户端在
页面
上执行
js
代码吗?
浏览 82
提问于2021-02-03
得票数 0
1
回答
Cakephp2.0下拉分页
cakephp
、
drop-down-menu
、
pagination
、
cakephp-2.0
默认情况下,在“$this->Paginator->number”中有一个列表,但是我希望在分页设计中进行一些更改,所以我希望在下拉菜单中选择所有
页面
,并且选择当前
页面
。通过编写下面的代码,我成功地获得了下拉列表,但问题是,当我单击
页面
时,它不会改变,这要事先感谢 echo $this->Paginator->numbers(array('
浏览 7
提问于2012-09-26
得票数 1
1
回答
如何
通过url参数更改开放图形meta标签内容
javascript
、
html
、
meta-tags
、
url-parameters
我正在尝试使用url参数和打开
的
图形meta标签来制作一个自定义
的
嵌入生成器,但是每当我将链接发布到诸如Discord之类
的
站点时,它都会使用我为其设置
的
默认标签,而不是url参数。有人知道怎么
解决
这个问题吗?我已经发布了代码和下面发生
的
事情
的
示例图像。 ?
浏览 24
提问于2021-02-03
得票数 1
回答已采纳
1
回答
谷歌广告不承认他们
的
代码,如果这是与Javascript?
javascript
、
adsense
我有一个谷歌广告,它将显示或不显示取决于用户是否登录,以及写出来
的
代码在Javascript中。我已经(我相信)根据他们
的
指示在Adsense接口中启用了
爬虫
访问。<script type="text/javascript"\n\ src="http://pagead2.googlesyndication.com/pagead/show_ads.
js
最后,我联系了
浏览 2
提问于2012-06-21
得票数 1
2
回答
如何
实现使用JQuery服务调用在DOM中加载数据
的
XHTML
页面
的SEO?
jquery
、
ajax
、
dynamic
、
xhtml
、
seo
我有一个简单
的
网站(5-8 XHTML
页面
和支付网关要做),约1500产品有一个固定SKU/产品代码。查询
的
样例URL:http://www.domainname.com/product-detail.html?1P16AX 1-路开关灰色,EIKON,175**_”/>我
的
疑问是谷歌或其他
浏览 0
提问于2013-07-26
得票数 1
回答已采纳
2
回答
ASP.NET网络Api会不会对搜索引擎优化不利?
seo
、
asp.net-web-api
基于Web API
的
网站会遇到SEO问题吗? 假设
页面
的所有内容都是由javascript拉取
的
……搜索引擎
爬虫
能够获取
页面
内容吗?我听说
爬虫
在
页面
上爬行时并不总是支持javascript或执行javascript。
浏览 1
提问于2012-07-30
得票数 0
1
回答
React / Express -服务器端呈现
如何
使用我
的
动态
页面
工作
javascript
、
node.js
、
reactjs
、
express
、
rss
因此,我正在构建一个基于文章
的
应用程序,使用
的
反应和表达。我
的
应用程序由3个静态
页面
和1个动态文章页组成。我
的
问题是: SSR将
如何
与搜索引擎
爬虫
工作,以了解我
的
文章存在?所以,如果我要搜索“我
的
网站条款”或“我
的
网
浏览 2
提问于2017-03-01
得票数 2
回答已采纳
1
回答
谷歌抓取/索引“计算
的
”或原始
的
html源代码吗?
php
、
wordpress
、
search
我有一个独特
的
情况,我有几个
页面
在多个
页面
中“分页”(通过WordPress
的
“下一页”功能)。相同
的
内容,分布在两个或更多
页面
上,如下所示:http://mysite.com/mypage/2因此,
页面
本身有一个html
页面
浏览 4
提问于2013-06-22
得票数 2
1
回答
C#
爬虫
程序无法加载动态内容
c#
、
request
、
web-crawler
、
abot
爬虫
可以正确地请求
页面
,但问题是几乎所有内容都是通过knockout.
js
动态加载
的
。
爬虫
程序目前无法请求此内容,这导致只加载了
页面
的一小部分。我试着让程序等待,希望动态
的
请求无论
如何
都会被发送,但这似乎不起作用。
如何
才能使crawler请求所有数据? 谢谢!
浏览 12
提问于2019-07-09
得票数 0
2
回答
爬行时管理URL
的
常见方法是什么?
web-crawler
我正在尝试编写一个网络
爬虫
程序,但现在我想知道:存储所有urls
的
最佳方法是什么,这样
爬虫
就可以一起工作,但不会干扰。 让Crawler扫描
页面
寻找新
的
浏览 5
提问于2011-12-28
得票数 0
回答已采纳
1
回答
在Python中执行网页上
的
Javascript方法
javascript
、
python
、
web-scraping
我正在为一个特定
的
网页写一个网页抓取器,我正在用"urllib2.Request( MyURL )“和"BeautifulSoup”来做这件事,但问题是在myURL中有一个
页面
分页,下一个
页面
通过点击一个链接加载(在相同
的
myURL/
页面
中),这个链接后面是javascript方法,写成 { javascript:__doPostBack('rptPagingBottom$ctl01$btnPage','')现在,如果不从Python执
浏览 2
提问于2012-11-19
得票数 8
回答已采纳
3
回答
如何
让
爬虫
忽略我
的
免责声明
asp.net
、
web-crawler
我在我
的
网站上有一个免责声明,在一个会话中显示一次。一旦点击,你将被允许进入某个部分,它将在你
的
会话中被记住,这样它就不会再次困扰你。但是还有许多其他
的
爬虫
,我希望他们也忽略这一点。 这是唯一
的
解决
方案吗?通过
爬虫
的
UA来识别
爬虫
?
如何
检测cookie -如果我没有cookie,这意味着它是一个
浏览 1
提问于2011-12-14
得票数 1
回答已采纳
2
回答
爬虫
/机器人是否消耗Maps API配额?
google-maps
、
google-maps-api-3
由于Google Maps API改为" Credits“,我
的
问题是:
爬虫
/机器人(来自搜索引擎或监视程序,如"uptrends")会消耗Maps API
的
Credits吗?
浏览 88
提问于2018-09-03
得票数 3
回答已采纳
1
回答
开放图反应性元信息
facebook-graph-api
、
vue.js
、
axios
、
nuxt.js
我
的
OG元信息对于某个链接(例如博客帖子链接)来自一个数据库(例如,博客帖子需要一段时间
的
加载)。我不想要预录制,我想保持我
的
数据尽可能
的
动态。有办法
解决
这个问题吗?
浏览 2
提问于2018-10-18
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
爬虫受限如何解决?解决爬虫被限制的三种方法
springboot从控制器请求至页面时js失效的解决方法
如何解决公司网站首页被恶意跳转的安全问题
漫谈漏洞扫描器的设计与开发
神级程序员通过解决动态加载页面!让我又学到了爬虫的一些方法!
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券