蜘蛛爬取了哪些页面？为什么还不收录？蜘蛛到底爬到了新发布的页面没有？

蜘蛛来无影去无踪，每次打开服务器端访问日志才能查看到蜘蛛的足迹，十分不便。

实现直接打开看蜘蛛爬行记录步骤如下：
1.将以下代码放入 functions.php 文件合适的位置：

// 记录蜘蛛访问记录 
function get_naps_bot(){ 
$useragent = strtolower($_SERVER['HTTP_USER_AGENT']); 
if (strpos($useragent, 'googlebot') !== false){ 
return 'Googlebot'; 
} 
if (strpos($useragent, 'bingbot') !== false){ 
return 'Bingbot'; 
} 
if (strpos($useragent, 'slurp') !== false){ 
return 'Yahoobot'; 
} 
if (strpos($useragent, 'baiduspider') !== false){ 
return 'Baiduspider'; 
} 
if (strpos($useragent, 'sogou web spider') !== false){ 
return 'Sogouspider'; 
} 
if (strpos($useragent, 'haosouspider') !== false){ 
return 'HaosouSpider'; 
} 
if (strpos($useragent, 'yodaobot') !== false){ 
return 'YodaoBot'; 
} 
return false; 
} 
function nowtime(){ 
date_default_timezone_set('Asia/Shanghai'); 
$date=date("Y-m-d G:i:s"); 
return $date; 
} 
$searchbot = get_naps_bot(); 
if ($searchbot) { 
$tlc_thispage = addslashes($_SERVER['HTTP_USER_AGENT']); 
$url=$_SERVER['HTTP_REFERER']; 
$addr=$_SERVER['REMOTE_ADDR']; 
$file="robotslogs.txt"; //根目录下记录蜘蛛访问的文件
$time=nowtime(); 
$data=fopen($file,"a"); 
$PR="$_SERVER[REQUEST_URI]"; 
fwrite($data,"[$time] - $addr - $PR - $searchbot $tlc_thispage \r\n"); 
fclose($data); 
}

2.网站根目录下创建一个名为robotslogs.txt的文件，设置权限为777即可。

*robotslogs.txt 文件名可修改
*需要等待一定时间才能起效。