首页 > Google Analytics > 利用google analytics追踪搜索引擎蜘蛛(spider/robots)的爬行日志

利用google analytics追踪搜索引擎蜘蛛(spider/robots)的爬行日志

2011年5月4日 发表评论 阅读评论

在做搜索引擎优化中分析搜蜘蛛爬虫日志是非常重要的一步,大部分网站采取服务器日志数据 ,一般认为采用类似google analytics的页面标记法是无法捕捉搜索引擎爬虫的信息,然而两位法国google analytics的爱好者的一段代码却可以让我们轻松利用google analytics追踪搜索引擎spider的抓取信息。

要做到这个功能需要做以下步骤
第一步,添加一个新的profile配置文件,这个profile文件必须是设置为新的domain域名。

第二步下载analytics解压后上传到网站根目录,里面包含了analytics 、config和patterns三个文件。

需要做的是修改config文件,

添加第一步中增加的新的profile id号(如:UA-18335296-6)
增加你的域名信息(如www.lampblog.net)
添加你域名的哈希(hash)值信息,为域名cookie里面的_utma cookie内容字段的第一段id.
利用firebug cookie读出

里面的”230712194”就是需要增加的id.

第三步  让网站每个页面都包含analytics文件的代码,可以在网站页面的公共调用部分(如footer header) 加入以下代码:
<?php include_once(‘analytics/analytics.php’) ?>

以上步骤完成 等待两小时后 在google analytics后台便可以看到来自搜索引擎爬虫的爬行信息”

在内容(content)报告, 按来源选择可以很清晰的看到来自各爬虫的爬行信息

  1. 2011年5月4日03:45 | #1

    试过这个方法,但是似乎不起作用,报告2周多没有任何结果。原因不明。

  2. 2011年9月11日04:24 | #2

    我用过,可行的,一定是你的配置有问题

  3. Evan
    2011年9月16日07:06 | #3

    将该语句,放置于公用head或footer里,均报错;
    Parse error: syntax error, unexpected ‘.’ in”xxxx.xxx”;看不懂,求解释…