如何落伍 | 站长实名俱乐部 | 站长知道 | 落伍预告 | 落伍分类 | 站长运营 | 赚钱 | 代码 | 现金任务 | 招聘 | 交易 | 落伍DIY | 帐号保护
推荐:图铃+艺术签名效果强!墨者推出江民杀毒,5元一个,效果好美图:20元1000IP、周付佣金反馈提成活动ACS金玉满堂
天寻网络租用699/月 空间30元/月域名1元 空间10元 酷睿租用699起炎黄网络:P4月付399元 送8G硬防赚钱:Q号+艺术签名效果超强!
挚盟广告联盟,收入满100送100英拓酷睿租用598/月,5199/年比VPS更稳定的VM虚拟服务器P4 3.0/1G/160G/10M独享-550元
DNSPod智能DNS,我们一直在免费莆阳:E4500/2G季付1999元送产权雅唐空间100元.南京双线租用699元独享百兆托管9000/年,租1399/月
 19 12
发新话题
打印

[提问] 如何查看百度的蜘蛛是否来过本站?

如何查看百度的蜘蛛是否来过本站?

如何察看百度的蜘蛛是否来过我的网站!~
最好详细点!~~~加分啊

TOP

没人回答我!?

TOP

看日志:

60.28.22.25 - - [26/Feb/2008:22:27:22 +0800] "GET /merchant_info/1859.html?click=1&p_id=&g_id=540736 HTTP/1.1" 200 21276 "-" "Baiduspider+(+http://www.baidu.com/search/spider.htm)"
60.28.22.25 - - [26/Feb/2008:22:27:23 +0800] "GET /merchant_info/1859.html?click=1&p_id= HTTP/1.1" 200 21276 "-" "Baiduspider+(+http://www.baidu.com/search/spider.htm)"
60.28.17.37 - - [26/Feb/2008:22:30:26 +0800] "GET /merchant_info/7952.html?click=1&p_id=&g_id=415263 HTTP/1.1" 200 18857 "-" "Baiduspider+(+http://www.baidu.com/search/spider.htm)"
60.28.17.37 - - [26/Feb/2008:22:30:26 +0800] "GET /merchant_info/7952.html?click=1&p_id= HTTP/1.1" 200 18857 "-" "Baiduspider+(+http://www.baidu.com/search/spider.htm)"
60.28.17.37 - - [26/Feb/2008:22:31:13 +0800] "GET /merchant_info/21742.html?click=1&p_id=&g_id=4226072 HTTP/1.1" 200 16978 "-" "Baiduspider+(+http://www.baidu.com/search/spider.htm)"
60.28.17.37 - - [26/Feb/2008:22:31:13 +0800] "GET /merchant_info/21742.html?click=1&p_id= HTTP/1.1" 200 16978 "-" "Baiduspider+(+http://www.baidu.com/search/spider.htm)"

暂停10分钟后,出现了这六条记录。

我们仔细看下,不难发现百度Spider在干什么

百度在查看url链接后的查询参数是否会对页面发生变化。

如果发生明显变化,那么百度将会收录带查询参数的链接,如果没有发生明显变化,那么百度将会只收录"?"之前的链接,即我们通常所说的SEO静态链接。

通过这点我们可以发现,百度对非静态化的链接并不是不收录,而是收录前要经行一下验证。

但是,为了免得百度麻烦、我们烦心,建议大家还是给页面静态化,并且不要带参数。

TOP

查看你的空间日志就知道了

TOP

看日志里有Baiduspider之类的东西撒
这家伙很懒,啥也没留下...

TOP

请教楼上各位,win2003+apache的服务器,它的空间日志是否记录在apache目录的access.log文件里?如果没有搜索到www.baidu.com的信息,是否意味着百度的蜘蛛一直都没有来过?

TOP

首先 日志要开启的
如果没有搜索到www.baidu.com的信息,意味着百度的蜘蛛一直都没有来过

TOP

谢谢楼上,请问在哪里开启?我装的是apache,应该是默认开启的吧?因为access.log几天时间就几百兆了。

运行了一段时间,起码一星期以上,都没有在access.log里找到www.baidu.com的信息,看来百度的蜘蛛没怎么光顾,但奇怪的是为什么百度还能收录我的网站呢?虽然不多,才1万多个。每天的在线会员列表里倒是看到来自雅虎的IP占了很大一部分。

恳请各位高手指点,在下先行感谢!

TOP

百度是疯子,

乱屏蔽域名
http://www.51zhaodf.com
乐游中国
http://www.loyoo.com.cn

TOP

学习了

TOP

 19 12
发新话题