首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

SEO分享:彻底禁止搜索引擎抓取收录动态页面或指定路径的方法

最近张戈博客收录出现异常,原因并不明朗。...明明 robots 里面加入了禁止抓取这些动态地址和某些路径,但是蜘蛛依然每天抓取,而且还收录了!收录也没事,关键收录了动态地址居然不收录静态地址了??这是要闹咋样啊? 案例①: ? 案例②: ?...张戈博客用的是 Nginx,所以直接在 server  中新增如下规则即可: ################################################# #   禁止蜘蛛抓取动态或指定页面规则...三、PHP 代码版 /** * PHP比robots更彻底地禁止蜘蛛抓取指定路径代码 By 张戈博客 * 原文地址:http://zhangge.net/5043.html * 申   明:原创代码,转载请注保留出处...好了,本文就分享到这,这种做法和张戈博客之前分享的《SEO 分享:彻底禁止搜索引擎收录非首选域名的方法》一样,属于极端优化做法,实施后,我们的索引肯定会大量下降,因为很多垃圾索引或收录都将被删除,但是这是良性的做法

2.1K60

一级域名与二级域名的区别

2、什么是二级域名? 所谓的二级域名实际上就是一个一级域名下面的主机名。顾名思义,他是在一级域名前面加上了一个字符串,比如asdx.iisp.com.,他可以拥有根顶级域名同样的功能。...但一级域名和二级域名还是有差别的! 3、二级域名和一级域名的差异 二级域名,是依附一级域名的存在而存在的,也就是说要是顶级域名消失了,二级域名也也会不复存在。...反而来说,二级域名的网站不做了,主域名网站是不受影响的。...至于搜索引擎对一级域名的收录,也是要比二级域名好很多,权重的分配上也是偏向于顶级域名的,一开始就选择顶级域名,收录会比较缓慢,但是过了一段时间之后,搜索引擎认可了,顶级的域名的收录就会转好。...而二级域名一开始收录很快,但是逐步会停顿下来,所以说,一级域名在收录和获得权重方面,要比二级域名来得好。

18.8K61
您找到你想要的搜索结果了吗?
是的
没有找到

web站点应用之路_wdcp面板部署网站(三)

首先当然是创建站点,在站点域名这个地方需要注意,wdcp面板无论是单引擎还是双引擎,其实在rewrite规则上都是受到制约的,通常,我们为了提高网站的SEO优化收录,都会做一个301永久重定向,将不带www...站点目录如果留空的话,会默认用域名来创建一个目录,注意,如果是二级域名的站点目录,需要先在文件管理或者linux服务器上新建目录,不建议下挂到主站点目录上。剩下的其实都不用管的。...image.png 到这里,后面的东西就先不用管了。...访问日志,如无特别需求是不开启的,gzip如果php站点程序带压缩了,这里不用开。客户端缓存一般也是不开的,如果实在追求,我们可以搭配免费的10G的腾讯云CDN流量包,后面会讲到。...image.png 下面我们说下二级域名

2.1K50

黑帽SEO剖析之手法篇

黑帽seo概念 SEO全称为搜索引擎优化,是指通过站内优化、站外优化等方式,提升搜索引擎收录排名。...而seo人员大费周章地建立站群的目的,便是能够快速吸引大量的搜索引擎爬虫,增加网站在搜索引擎中的收录量。以下是某个泛二级域名站群案例截图: ?...泛解析有很多优点,比如对用户友好(即使输错二级域名也能跳转到目标网站),又能够更快速地被搜索引擎收录等。...由于政府网站本身权重很高,因此二级域名页面被百度快速收录,达到为非法页面引流的目的。这种手法的好处在于不必入侵网站,而只要获取到域名解析权限即可(当然获取域名解析权限也并非易事)。...其原因可以简单概括为:易收录、难发现,易收录表现为搜索引擎尚没有很好的机制能够检测出此作弊手段,网页劫持手法仍然能够大量引流。难发现是指网页劫持手法比较隐蔽,一般非技术人员很难发现它的存在。

3.1K80

百度云加速配置二级域名301跳转www主域名的方法

不知道大家会不会有这样的问题,如果把两个域名同时解析到服务器,就会被百度收录两个域名(网站),而且两个网站的内容相同,会不会被百度判定为仿站或者采集呢? ?...那么怎样做到访问二级域名(www.w3h5.com)和主域名(w3h5.com)都可以打开网站,又不会被百度重复收录呢?...可以试一下这个方法: 百度云加速配置二级域名自动跳转主域名 首先将域名 NS 接入百度云加速,这个我就不讲了,用过应该都知道,非常简单。 这里说一下为什么我使用百度云加速。...但是百度云加速就没有遇到类似的问题,可能和百度自家产品有关系,对百度收录效果影响较小。...image.png 然后将 www 二级域名 cname 到主域名。

5.8K30

网站二级域名是什么?二级域名和一级域名的关系?

很多朋友都听说过一级域名和二级域名,但究竟这两种域名代表了什么意思,很多人却始终不太清楚。不过大家都知道一级域名使用是需要支付服务费的,但二级域名好像不需要支付任何费用,那么网站二级域名是什么?...,二级域名属于一个独立的分支,可以拥有自己的快照、收录和反链等等。...一级和二级域名关系 一级和二级域名之间的关系,可以将二级域名看做是一级域名的延伸,因此二级域名其实就是主域名分支出来的独立域名。...很多人弄不清楚网站二级域名是什么的意思,其实可以这样理解,二级域名受到了一级域名的制约,当一级域名受到惩罚无法使用时,那么所有在一级域名上分支出来的二级域名也会连带受到惩罚而无法访问。...很多人经常会被所谓的一级域名和二级域名弄得头昏脑涨,对于网站二级域名是什么这个问题很难理解。

5.8K10

如何生成二级域名 如何购买域名

下面就给大家讲讲如何生成二级域名? 如何生成二级域名 如何生成二级域名?说到二级域名,做网站的人应该都知道,当购买一个主域名之后,可以通过解析的方式生成多个二级域名,这样就可以建设多个网站。...完成之后再耐心等到几分钟,二级域名就解析生成就这样完成了,安装的步骤方法也跟主域名一样。 如何购买域名 很多企业都需要拥有一个独一无二的域名来凸显企业的形象,域名的购买方式也是很简单。...上述就是关于如何生成二级域名的方法。域名的后缀有很多,有贵有便宜的。几块钱的域名也有,但如果想要做关键词排名的,建议还是选择比较优质的域名,也就五六十块一年。...com后缀就是国内用的最多的域名,适合seo站长们做优化,也适合各大企业做关键词排名,容易被各大搜索引擎收录

10K20

Hexo + Git Pages搭建个人博客(一)

#存放主题的文件夹 └── yarn.lock #配置未用到,不讲 如果未与上述相符的话要么是本贴太老旧,要么就是你没有安装对咯 安装主题 Hexo官方收录了大量的精美博客主题...,只需要前往主题收录地址进行下载,然后解压至theme目录下即可,一般主题都会有一个README文件,里面一般都会讲解说明主题的文件夹名称和主题名称,对好入座后在Hexo的配置文件_config.yml...配置Git Page服务 一般来说一般人是没有个人域名的,更不用说个人服务器了,本贴是基于不需要依托付费的在线方案进行部署Hexo的,所以推荐使用GitHub或者Gitee进行在线部署,这两个在线的托管平台都提供了...创建仓库时建议创建与自己帐号名一致的仓库名,这样在gitee可以获取到一个专有二级域名的网址,如我的用户名impressionyang创建一个同名的仓库之后开启Pages服务得到了一个https://impressionyang.gitee.io...的二级域名,而不用使用子文件夹,比较好看。

42210

hexo-butterfly-SEO优化

更新记录 2021-01-22 SEO优化说明:文章路径优化、百度/Google/必应等搜索引擎收录 2022-01-13 排查收录问题和数据分析 搜索引擎自定义域名调整:将原有github二级域名替换为自定义域名...必应收录 google收录 百度收录:百度搜索资源平台 ​ 上述步骤完成,在百度搜索框内输入site:域名,查看收录情况,如果没有收录则提交网址进行收录,登录百度账号->用户中心->站点管理-...我采用的是CNAME验证的方式进行验证,根据提示将指定的记录使用CNAME解析到ziyuan.baidu.com即可(例如使用github二级域名则为code-xxxxxxx.用户名.github.io...generate && hexo deploy自动推送 注意事项 ​ 如果使用CI自动部署,则必须在每个页面的front-matter中配置updated属性用于标示hexo修正文章最后更改时间(如果没有指定...,则hexo读取文件属性是以CI自动部署概念git资源clone的时间为参考,从而导致修改时间显示异常) ​ 此外区分本地部署和CI部署,如果是本地部署则需指定BAIDU_TOKEN、BING_TOKEN

1.8K20

交换和管理网站友情链接的几点建议

这样一直坚持3个月左右,一般都会有比较好的收录结果和流量,这时候,你就可以考虑交换友链了。...对方网站收录 百度谷歌等各大搜索引擎的收录。看百度和谷歌的收录,要收录正常,如果收录特别少,值得怀疑,是不是被K,这种不能交换,还有就是百度和谷歌收录不能相差太大。...另外一个值得提出的是不要只看收录,还要看收录率,收录多不一定收录率高,比如两个网站A和B,A的信息共有10000条,收录500条,B的信息共500条,收录400条,表面上看A收录比B多,事实上B的收录率高...2.尽量不和二级域名做链接,二级域名的权重一般都不高。 3.尽量不做交叉链接,因为交叉比较麻烦,不好管理,对方很可能在你不知道的情况下删除你的链接。...2.如果对方网站有被K的迹象,或者是收录为0,要果断删除,以免影响自己的网站。

36820

替换WordPress默认搜索为百度站内搜索(知更鸟主题可照搬)

今天,中国博客联盟 QQ 群里的【58 说】博友提到百度站长平台推出绿色收录通道了。连忙登陆站长平台看了下,意外的发现张戈博客已开通了站内搜索功能。...---- 下面说下知更鸟主题的博客,如何将上方博客导航里面内嵌的搜索换成百度站内搜索: 一、准备工作 温馨提示:建议在博客的百度收录比较完整的时候,再使用此功能,否则搜索结果将远远小于实际可搜索内容,甚至空白...因为站内搜索的结果均来自百度收录!张戈大胆猜测,用了百度站内搜索,百度收录的速度应该会有所提升,因为这其中还涉及到了额外数据的抓取!...做这项工作之前,咱们还有一个重要的准备工作: ①、CNAME 一个二级域名到 zhannei.baidu.com: ? ②、将这个二级域名添加为百度站内搜索的【搜索域名】: ?...③、确认这个二级域名可以正常访问到百度站内搜索,比如:http://so.zhangge.net ? 到这里,准备工作就已经做好了(其他站内搜索选项,自行按照提示设置即可)!

2.5K40

GitHub Pages 站点建设

,也可以绑定个人域名,继续往下看4、仓库文件目录图片5、绑定域名我个人购买的一级域名是 i-xiao ,域名后缀是 space,专门给GitHub Pages 增加一个CNAME记录(blog),解析二级域名...5.1、域名相关知识www:主机名,i-xiao : 域名主体(一级域名),.space : 域名后缀注册一级域名的时候是需要付费的二级域名,是依附一级域名的存在而存在的,也就是说要是顶级域名消失了,二级域名也也会不复存在...反而来说,二级域名的网站不做了,主域名网站是不受影响的。...一级域名、二级域名区别:DNS收录一级域名更快;还有就是解析速度,下一跳路由就不说了,找到目的主机之后,二级域名层级更深,需要多一层计算(其实这是我瞎写的,猜测应该跟 nginx location匹配类似

1.2K41

谷歌搜索指令用法详细解读!

1.inurl:xxx.com 关键词 注意下,冒号是用英文输入法输入的,它可以快速的找到特定网址上面带指定关键词的所有网页。 出来的结果网址里面都带有关键词。...2.intitle: “关键词” 注意了冒号后面不要空格,这个指令可以让你快速找到网页标题是指定关键词所有网页。...3.关键词 @ xxx.com 这个指令可以让你查询指定网站上面所有带特定关键词的网页。...我一般应用的比较多的是用来查询shopify店铺,而且出来的shopify店铺都没有带shopify店铺默认的二级域名myshopify.com。...4. site用法 一、site:xxx.com 你可以通过这个指令找到指定网站下面所有的网页。 一般可以用于:查看自己的网站那些网页被谷歌收录了。

1.2K10

清点下博客的插件以及我对WordPress插件的看法

但是也有个问题:如果发布文章到被收录之前,频繁更新文章内容,那么会延长被收录的时间!这是个人使用几个月来总结的经验。...很无奈,只好仔细检查内容,无误后再提交,尽量减少更新次数,才能避免延长被收录时间。...插件具体介绍已经写了详细的博文:http://zhangge.net/4512.html ⑤、WordPress Mobile Pack(更换为响应式后已删除) 绑定二级域名做移动站的主题调度插件,勉强将其放到...四、我看插件 插件问题一直都是 WordPress 站长们争议性较强的话题,经常看到有一些技术能力较强的站长发文发帖说插件多了,拖慢主机速度、能不用插件就不用插件等看法。...毕竟大部分站长并非程序猿,比如我自己,经常折腾一个功能要熬几晚,更不用说那些对代码完全没感觉的人了。

91190

网站SEO优化步骤超详细完整版教程

www.yukiyyy3.com/me/ 内容式:www.yukiyyy3.com/2022/02/13/bingdundun-2/ 目录式:www.yukiyyy3.com/2022/02/28/go/ 二级域名扁平式...:xxx.xxx.com/xxx.html URL标准化:确保页面唯一指定URL; 面包屑导航:注意首选域和标准化,包含核心词; https:http的加密传输方式,需要安装SSL协议证书; MIP/AMP...3、收录与索引 (1)先收录后索引,是排名的基础。通过Site:+域名看收录(页面数X收录率),站长平台看索引量。 (2)无效收录收录没有带来流量,被搜索引擎压箱底。...大型网站可以使用二级域名,扁平化处理; 图文并茂; 多个模块介绍详情,简介,属性,展示,案例,问题等; 推荐相关产品,添加锚文本。...3、文章页面优化 链接:xxx.com/news/id.html,大型网站使用二级域名; TDK;文章名称+延申词; 图文并茂; 文章内容重现TDK内容; 保持原创度; 相关文章推荐,定向锚文本; 内容多维

1.4K20

全网URL采集工具,支持关键词采集,域名采集,联系人采集

**今天介绍的这款全网URL采集工具可以运用于全网域名/网址/IP信息检索、指定关键词批量数据采集、SEO、网络推广分析、内容源收集,以及为各种大数据分析等提供数据支撑。...图片2: URL采集根据提供的URL数据批量采集全网被收录的数据,重复判断:可以选择根据域名或者网址进行重复判断,支持线程数自定义,可根据自己机器配置调整最优采集字段包括域名,网址,IP地址,IP...过滤方案支持:可以根绝自己的业务需要设置自己的过滤方案防站群陷阱:可防止二级域名站群导致爬虫陷阱推送方案WebHook支持:根据自己业务需要进行远程数据推送,方便再次做统计分析。...**创建爬虫任务**图片图片3: 联系任务可根据提供的域名地址采集被收录的联系方式等信息包含手机。

2.6K11

新站让搜索引擎喜欢的经验

主页内容应该丰富一点,不要盲目向搜索引擎提交你的站点,站点标题,关键词,伪静态都设置好了,不变了再去提交 在提交之前应该装好蜘蛛抓取插件,便于了解蜘蛛抓取情况 一旦确定网站标题,就不要乱改了,否则会对收录造成很大影响...最好不要使用动态页面,这样不利于蜘蛛抓取 外链不在多,在精 对于百度来说,熊掌号比较管用,我试过,比较好的文章建议使用天级收录 网站的访问速度一定不能很慢,三秒之内打开网页最好 最好找一些其他博客互加友链...这样搜索引擎会对你的印象不太好(也可以这么说吧) robots.txt不要去屏蔽搜索引擎,屏蔽了搜索引擎你再怎么优化也没有用 建议使用SEO优化好的主题 使用国内主机建站要备案,而且要想百度提交备案号 坚持原创更新,这样对收录有帮助...多提交没有收录的链接,不要重复次数太多,否则影响收录 使用https更好一点,我的http站点从来没有一个收录的,https站点收录更好 不要只提交二级域名,主域名,带www的域名都要提交 百度站长平台里面的主体最好绑定上

37320
领券