前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >检查搜索引擎蜘蛛爬虫真实性 博客 2 年前 桃李Taoli

检查搜索引擎蜘蛛爬虫真实性 博客 2 年前 桃李Taoli

作者头像
taoli
发布2022-09-30 09:30:49
1550
发布2022-09-30 09:30:49
举报
文章被收录于专栏:桃李博客

我们很多时候都会遇到伪造搜索引擎爬虫的UA,但是很多时候又无法判断他的真实性。

以下代码,为检验部分搜索引擎真实性的案例,如有更多方法,请回复评论。

因为英语不太好,所以下面的内容就有部分中文了。

代码语言:javascript
复制
<?php
if(getspider()){
	exit('假的搜索引擎!');
}
function getspider(){
	$访问UA = strtolower($_SERVER['HTTP_USER_AGENT']);
  	$访问IP = isset($_SERVER['REMOTE_ADDR']) ? $_SERVER['REMOTE_ADDR'] : '';
  	if(isset($_SERVER['HTTP_X_FORWARDED_FOR'])){
  		$list = explode(',', $_SERVER['HTTP_X_FORWARDED_FOR']);
  		$访问IP = $list[0];
  	}
  	if (!ip2long($访问IP)) $访问IP = '未知IP';
	$访问主机 = str_replace('.', '-', $访问IP);
	if (strpos($访问UA, 'googlebot') !== false){
		$解析主机 = gethostbyaddr($_SERVER['REMOTE_ADDR']);
		if ($解析主机 != 'crawl-'.$访问主机.'.googlebot.com') return 'googlebot?';
	}
 
	if (strpos($访问UA, 'sogou') !== false){
		$解析主机 = gethostbyaddr($_SERVER['REMOTE_ADDR']);
		if ($解析主机 != 'sogouspider-'.$访问主机.'.crawl.sogou.com') return 'sogou';
	}
	if (strpos($useragent, 'bing') !== false){
		$解析主机 = gethostbyaddr($_SERVER['REMOTE_ADDR']);
		if ($解析主机 != 'msnbot-'.$访问主机.'.search.msn.com') return 'bing';
	}
	if (strpos($访问UA, 'baiduspider') !== false){
		$解析主机 = gethostbyaddr($_SERVER['REMOTE_ADDR']);
		if ($解析主机 != 'baiduspider-'.$访问主机.'.crawl.baidu.com') return 'baiduspider?';
	}
	return false;
}
本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档