php判断网站访问来路是否为搜索引擎机器人的方法

2012-12-20 1 条评论 10,222 次阅读 被赞了 2 次
本文发布于：2012-12-20，最后更新于：2021-02-09，如果内容失效请留言告知。

有时我们需要对网站访客来路进行识别，针对真实用户与搜索引擎作不同动作实现，那么首先就需要判断是否为搜索引擎。php判断方法非常简单，通过过滤$_SERVER['HTTP_USER_AGENT'] 参数即可进行识别，以下是摘录某开源程序的相关源码：

code: php;
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
private function getRobot()
{
    if (empty($_SERVER['HTTP_USER_AGENT']))
    {
        return false;
    }
     
    $searchEngineBot = array(
        'googlebot'=>'google',
        'mediapartners-google'=>'google',
        'baiduspider'=>'baidu',
        'msnbot'=>'msn',
        'yodaobot'=>'yodao',
        'youdaobot'=>'yodao',
        'yahoo! slurp'=>'yahoo',
        'yahoo! slurp china'=>'yahoo',
        'iaskspider'=>'iask',
        'sogou web spider'=>'sogou',
        'sogou push spider'=>'sogou',
        'sosospider'=>'soso',
        'spider'=>'other',
        'crawler'=>'other',
    );
     
    $spider = strtolower($_SERVER['HTTP_USER_AGENT']);
    foreach ($searchEngineBot as $key => $value)
    { 
        if (strpos($spider, $key)!== false)
        {
            return $value;
        }
    }
     
    return false;
}
 
public function isRobot()
{
    if($this->getRobot()!==false)
    {
        return true;
    }
    return false;
}

 

相关文章:

Default Thumbnailphp获取搜索引擎搜索关键词关键字的正则表达式实现方法 Default Thumbnailphp中的正则表达式后缀修饰符、常用正则表达式与正则表达式元字符功能对照表 Default Thumbnailphp正则匹配获取指定url网页页面超级链接地址与抓取指定页面内容方法 Default Thumbnail一个简单好用的php分页类 Default Thumbnailphp Server：php超全局变量Server的含义与用法示例 Default Thumbnailphp开源采集类Snoopy.class.php功能使用介绍与下载地址 Default Thumbnailphp浏览器模拟：用于多线程处理的curl_multi一族函数使用介绍 Default ThumbnailMac OS X 系统自带的 php-fpm 配置和 nginx、mysql 的安装 Default ThumbnailPHP去重实现：PHP去除大文本重复行的方法 Default Thumbnailphp实现强制文件下载方法的源码参考 Default ThumbnailPHP stdClass Object转 array 的方法 Default ThumbnailPHP批量检测并去除文件BOM头信息代码参考
点赞 (2)
知识共享许可协议
本作品采用 知识共享署名-相同方式共享 4.0 国际许可协议 进行许可
  1. 免费php空间说道：
    2013年02月15日 3:18 上午

    那要不是百度google等著名引擎的蜘蛛 怎么判断呢？比如 我做的一个bt搜索站 http://bt.pekdo.com 怎么判断类似这样小站的的蜘蛛？
    [reply=任侠,2013-02-21 12:57 AM]搜索引擎的蜘蛛一般都会在http头里添加独特的标识，其他类型的蜘蛛可以'spider'=>'other', 'crawler'=>'other', 来进行判断。至于你说的搜索站，不是标准的搜索引擎，在未知其信息的情况下，只能当做普通的来源网站处理[/reply]

    回复

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

Captcha Code