本文最后更新于 813 天前，文中的信息可能已经有所变化。如有误，请留言反馈。
蜘蛛爬取了哪些页面？为什么还不收录？蜘蛛到底爬到了新发布的页面没有？
蜘蛛来无影去无踪，每次打开服务器端访问日志才能查看到蜘蛛的足迹，十分不便。
实现直接打开看蜘蛛爬行记录步骤如下：
1.将以下代码放入 functions.php 文件合适的位置：
// 记录蜘蛛访问记录
function get_naps_bot(){
$useragent = strtolower($_SERVER['HTTP_USER_AGENT']);
if (strpos($useragent, 'googlebot') !== false){
return 'Googlebot';
}
if (strpos($useragent, 'bingbot') !== false){
return 'Bingbot';
}
if (strpos($useragent, 'slurp') !== false){
return 'Yahoobot';
}
if (strpos($useragent, 'baiduspider') !== false){
return 'Baiduspider';
}
if (strpos($useragent, 'sogou web spider') !== false){
return 'Sogouspider';
}
if (strpos($useragent, 'haosouspider') !== false){
return 'HaosouSpider';
}
if (strpos($useragent, 'yodaobot') !== false){
return 'YodaoBot';
}
return false;
}
function nowtime(){
date_default_timezone_set('Asia/Shanghai');
$date=date("Y-m-d G:i:s");
return $date;
}
$searchbot = get_naps_bot();
if ($searchbot) {
$tlc_thispage = addslashes($_SERVER['HTTP_USER_AGENT']);
$url=$_SERVER['HTTP_REFERER'];
$addr=$_SERVER['REMOTE_ADDR'];
$file="robotslogs.txt"; //根目录下记录蜘蛛访问的文件
$time=nowtime();
$data=fopen($file,"a");
$PR="$_SERVER[REQUEST_URI]";
fwrite($data,"[$time] - $addr - $PR - $searchbot $tlc_thispage \r\n");
fclose($data);
}
2.网站根目录下创建一个名为robotslogs.txt的文件，设置权限为777即可。
*robotslogs.txt 文件名可修改
*需要等待一定时间才能起效。