腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
4
回答
用php编写客户端
重定向
服务器端
javascript
、
php
、
.htaccess
、
redirect
我正在寻找一个客户端
重定向
到另一个领域的PHP。window.location.href = "http://yourURL.com"; 然而,
爬虫
很难找
浏览 0
提问于2015-07-29
得票数 0
2
回答
如何使用python获取
重定向
URL?(CURLOPT_FOLLOWLOCATION不工作)
php
、
curl
、
web-crawler
我正在从一个网站抓取信息:被
重定向
到然而,问题是,我得到的页面不是最后一页,而是介于两者之间的一页。 HTTP/1.1 302临时移动服务器: Apache位置: www。第三个
重定向
代码似乎是"HTTP/1.1 200 OK",但它不是最后一页。如果你检查,你就会明白我的意思。此外,无法在返回的页面中找到最终的URL。所以我的问题是,即使它
浏览 6
提问于2015-04-13
得票数 0
1
回答
谷歌抓取/索引“计算的”或原始的html源代码吗?
php
、
wordpress
、
search
我有一个独特的情况,我有几个页面在多个页面中“分页”(通过WordPress的“下一页”功能)。相同的内容,分布在两个或更多页面上,如下所示:http://mysite.com/mypage/2因此,页面本身有一个html页面标题标记<title>My Page</title>,但由于它分布在多个页面上,我必须创建脚本来为每个页面添加唯一的html标题标记,以便让google对它们进行索引。$exploded = explode("/
浏览 4
提问于2013-06-22
得票数 2
1
回答
web
爬虫
是否读取HTTP标头?
http
、
https
、
web-crawler
、
bots
我拥有一个网址缩短服务,我想要检测我收到的请求是否来自网络
爬虫
。作为对请求的响应,我发送了一个HTTP头302,它将请求者
重定向
到原始链接。这是基于这样的假设:即使机器人读取报头并进行
重定向
,它们仍然会扫描页面并向其中找到的链接发送请求。假设是正确的吗?如果不是,我也可以通过Javascript
重定向
它们,但这不是
重定向
的标准方式(我想)。
浏览 1
提问于2014-02-08
得票数 0
1
回答
如果Javascript已禁用,则SEO
重定向
javascript
、
seo
、
meta-tags
因此,如果用户禁用了Javascript,我会使用下面显示的meta标记将他们
重定向
到另一个页面。据我所知,网络
爬虫
不使用Javascript (我认为)。这会对我的SEO有什么影响吗?流行的
爬虫
是否能够爬行我的网站,或者只能爬行我
重定向
到的页面?
浏览 1
提问于2014-06-14
得票数 0
3
回答
如何防止昂贵的API被
爬虫
和
爬虫
吃掉?
php
我注意到,来自蜘蛛和
爬虫
的访问产生了对该API的数千次调用,而我正在为这些调用收费。有没有办法阻止显示由API生成的内容的网页部分,即只有实际的访问者才能看到它,并且在抓取网页时不会生成API调用?
浏览 1
提问于2016-10-23
得票数 2
1
回答
与302
重定向
/IMG SRC/ JSON-P共享会话及其对Google /Pagerank或其他问题的影响
php
、
javascript
、
apache
、
session
一系列的302个
重定向
头(与上面几乎相同,只使用302的发送令牌)。 - redirect to domain-2.com/sessionSync.php?
浏览 2
提问于2011-02-07
得票数 1
3
回答
如何使google bots用动态url爬行我的反应网站并在google中显示它们
reactjs
、
express
、
sitemap
、
xml-sitemap
我的前端在react
js
,后端在express
js
。我的react应用程序链接我想将添加到google搜索控制台
浏览 3
提问于2021-12-28
得票数 6
1
回答
Facebook就像插件一样--响应中的规范URL指向了一些随机域
facebook
、
facebook-graph-api
、
facebook-like
当我将页面URL 输入到时,我可以看到规范URL指向一些随机的ya.ru域。如何与Facebook开发团队联系以解决这一问题?元property="og:url“content="”
浏览 2
提问于2013-11-13
得票数 0
回答已采纳
1
回答
打开图形刮取基本URL,而不是它给定的URL
facebook
、
magento
、
facebook-opengraph
如果请求的URL是URL的后代,则
重定向
到它设置的任何URL? 我请求的URL不是302或任何东西-我甚至可以单击FB调试工具的链接,它将带我到适当的页面。另一个这样的问题让我相信,如果用户代理不允许cookie(就像Facebook网络
爬虫
不允许的那样),用户代理可能会被
重定向
,所以我打开了一个新的浏览器,禁用了cookie,再试一次,我仍然找到了合适的页面
浏览 1
提问于2013-06-11
得票数 5
回答已采纳
2
回答
如何
重定向
为css和
JS
文件生成的404?
redirect
、
wp-redirect
我已经为已删除的CSS&
JS
文件生成了404 s,并且我希望通常
重定向
对这些文件的请求。我指的是为CSS和
JS
文件生成的所有404的
重定向
。 这些错误是由google
爬虫
生成的。
浏览 0
提问于2017-02-08
得票数 0
2
回答
Prerender + AngularJS -爬行器超时
javascript
、
angularjs
、
prerender
这是我的.htaccess,当检测到
爬虫
时,它会将url重写到预存器。HttpConnectionTimeout
重定向
到
浏览 5
提问于2017-05-13
得票数 2
回答已采纳
2
回答
共享调试器中的Facebook错误
facebook
、
facebook-graph-api
在分享调试器上显示所有内容的Facebook。不知道我还能做些什么让它得到正确的信息。 属性应该显式地提供'og:image‘属性,即使可以从其他标记推断值。"og:url“deve ser fornecida explicitamente,mesmo que um valor a ser fornecida a partir de que标签。分享 缺少“fb:app_id”属性的app ID应该显式地提供,指定应用ID,以便将分享给Facebook的故事正确地归因
浏览 27
提问于2016-05-07
得票数 1
回答已采纳
2
回答
Laravel Vue.
js
应用程序的SEO
laravel
、
vue.js
、
laravel-5.5
我的Laravel5.6应用程序有一个Vue.
js
前端。Vue.
js
应用程序位于资源目录中。我已经读过几篇使用Prerender SPA插件的文章。这些文章是为独立的vue.
js
应用程序编写的,并且有一个index.html文件。在Laravel的例子中,我们有index.php。我如何使我的Laravel Vue.
js
应用程序SEO自由。
浏览 1
提问于2018-07-20
得票数 3
1
回答
如何在使用亚马逊S3时将
爬虫
请求
重定向
到预呈现的页面?
angularjs
、
amazon-web-services
、
amazon-s3
、
seo
、
single-page-application
我试图让
爬虫
可以访问我的预渲染页面,但是我不能
重定向
爬虫
请求,因为Amazon没有提供S3重写选项,而且
重定向
规则是有限的。这是一个,其他
爬虫
紧随其后。我设法用一个丑陋的方法解决了这个问题。如果我为每一页创建了一个新规则,那么我就完成了: &l
浏览 3
提问于2015-09-07
得票数 6
回答已采纳
3
回答
如何
重定向
特定IP地址
javascript
、
php
、
html
、
web-crawler
我想
重定向
蜘蛛从访问我的博客。我正在寻找一个解决方案,可以嵌入到网页HTML,以便蜘蛛被
重定向
离开之前,影响我的页面访问量。比如说javascript,
爬虫
的IP地址,以及
爬虫
的引用url,这是可能的吗?
浏览 0
提问于2013-12-13
得票数 0
4
回答
用C#解析和执行
JS
c#
、
javascript
、
scriptengine
我有简单的
爬虫
爬行和搜索页面。但是现在我遇到了如何从页面执行和解析
js
链接的问题。有人知道如何解析和执行
js
页面吗? some_url很容易用webhtmltoolktit解析。JAVASCRIPT(1,7,0,2,7,9)是
js
链接,然后
重定向
到some_url2页面,然后我需要爬行这个页面。
浏览 13
提问于2011-01-20
得票数 24
回答已采纳
1
回答
具有标签的动态url的社交共享
javascript
、
facebook
、
metadata
、
share
、
hashtag
我正在构建一个客户端插件,它的功能非常类似于第三方应用程序中的图像/文章图库。在尝试为每一张图片添加Facebook分享/点赞按钮时,我遇到了以下问题- Facebook (或Twitter)将抓取原始页面并获取父页面的元数据,但不会获取正在共享/点赞的图片/文章的实际内容。我也相信FB不会运行Javascript,所以即使我动态地替
浏览 0
提问于2016-03-26
得票数 0
1
回答
404页会损害网站页面排名吗?
seo
、
google-search-console
、
google-search
、
links
、
404
我有一个在线市场平台。由于添加了新产品/服务,我不得不更新链接以匹配新列表。早些时候,谷歌已经为我的大部分页面建立了索引。现在,随着新的链接架构,谷歌显示的大多数结果是404。我提交了新的网站地图和新的链接还有待索引。请让我知道你的输入,因为我的大部分流量来自谷歌搜索,修复这是非常重要的对我们。 谢谢你,安吉
浏览 0
提问于2014-02-13
得票数 1
1
回答
用于机器人的.htaccess代理
reactjs
、
.htaccess
、
seo
、
prerender
除此之外,我写了一个小服务,这将渲染网站使用服务器上的
爬虫
,如谷歌或Facebook的铬。example.com/path-to-page,它应该提供给普通用户,还有http://myprerenderer.com/render/http://example.com/path-to-page,它应该提供给
爬虫
等|svg)$"><
浏览 1
提问于2018-03-26
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
爬虫之旅(2)——网页知识储备html、css及js
nodejs之重定向
nginx rewirte重定向规则
301永久重定向
Apache配置重定向
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
云直播
实时音视频
活动推荐
运营活动
广告
关闭
领券