落伍者站长论坛 » 新人交流投稿(入伍区) » 站长知道(解答积分) » 如何查看百度的蜘蛛是否来过本站？

limengdeai 发表于 2008-4-26 10:47

如何查看百度的蜘蛛是否来过本站？

如何察看百度的蜘蛛是否来过我的网站！~
最好详细点！~~~加分啊

limengdeai 发表于 2008-4-26 12:12

没人回答我！？

naomiwatts 发表于 2008-4-26 12:26

看日志：

60.28.22.25 - - [26/Feb/2008:22:27:22 +0800] "GET /merchant_info/1859.html?click=1&p_id=&g_id=540736 HTTP/1.1" 200 21276 "-" "Baiduspider+(+[url]http://www.baidu.com/search/spider.htm[/url])"
60.28.22.25 - - [26/Feb/2008:22:27:23 +0800] "GET /merchant_info/1859.html?click=1&p_id= HTTP/1.1" 200 21276 "-" "Baiduspider+(+[url]http://www.baidu.com/search/spider.htm[/url])"
60.28.17.37 - - [26/Feb/2008:22:30:26 +0800] "GET /merchant_info/7952.html?click=1&p_id=&g_id=415263 HTTP/1.1" 200 18857 "-" "Baiduspider+(+[url]http://www.baidu.com/search/spider.htm[/url])"
60.28.17.37 - - [26/Feb/2008:22:30:26 +0800] "GET /merchant_info/7952.html?click=1&p_id= HTTP/1.1" 200 18857 "-" "Baiduspider+(+[url]http://www.baidu.com/search/spider.htm[/url])"
60.28.17.37 - - [26/Feb/2008:22:31:13 +0800] "GET /merchant_info/21742.html?click=1&p_id=&g_id=4226072 HTTP/1.1" 200 16978 "-" "Baiduspider+(+[url]http://www.baidu.com/search/spider.htm[/url])"
60.28.17.37 - - [26/Feb/2008:22:31:13 +0800] "GET /merchant_info/21742.html?click=1&p_id= HTTP/1.1" 200 16978 "-" "Baiduspider+(+[url]http://www.baidu.com/search/spider.htm[/url])"

暂停10分钟后，出现了这六条记录。

我们仔细看下，不难发现百度Spider在干什么

百度在查看url链接后的查询参数是否会对页面发生变化。

如果发生明显变化，那么百度将会收录带查询参数的链接，如果没有发生明显变化，那么百度将会只收录"?"之前的链接，即我们通常所说的SEO静态链接。

通过这点我们可以发现，百度对非静态化的链接并不是不收录，而是收录前要经行一下验证。

但是，为了免得百度麻烦、我们烦心，建议大家还是给页面静态化，并且不要带参数。

yangchunming 发表于 2008-4-26 12:28

查看你的空间日志就知道了

树欲静而风不止 发表于 2008-4-26 12:57

看日志里有Baiduspider之类的东西撒

oyeso 发表于 2008-4-26 14:11

请教楼上各位，win2003+apache的服务器，它的空间日志是否记录在apache目录的access.log文件里？如果没有搜索到[url]www.baidu.com[/url]的信息，是否意味着百度的蜘蛛一直都没有来过？:(

naomiwatts 发表于 2008-4-26 14:41

首先 日志要开启的
如果没有搜索到[url]www.baidu.com[/url]的信息，意味着百度的蜘蛛一直都没有来过

oyeso 发表于 2008-4-26 14:58

谢谢楼上，请问在哪里开启？我装的是apache，应该是默认开启的吧？因为access.log几天时间就几百兆了。

运行了一段时间，起码一星期以上，都没有在access.log里找到[url]www.baidu.com[/url]的信息，看来百度的蜘蛛没怎么光顾，但奇怪的是为什么百度还能收录我的网站呢？虽然不多，才1万多个。每天的在线会员列表里倒是看到来自雅虎的IP占了很大一部分。:mad:

恳请各位高手指点，在下先行感谢！

aihuaguo 发表于 2008-6-14 14:21

百度是疯子，

乱屏蔽域名
[url=http://www.51zhaodf.com]http://www.51zhaodf.com[/url]

大乌龟 发表于 2008-6-14 14:27

学习了

wugangcnc 发表于 2008-6-14 14:48

不知道,我的还是虚拟主机呢

了而不了 发表于 2008-6-14 16:23

看不懂。，。。。。。。。

wxake_cn 发表于 2008-7-1 15:29

都没人回答你啊，我也遇到和你一样的问题，网上搜了好多都像2楼那样回答的，其实关键问题在于你的日志详细程度，apache 的 logs 默认的日志等级为“警告”，loglevel:warn

在默认状态下你的日志信息应该只显示这些
60.28.22.25 - - [26/Feb/2008:22:27:22 +0800] "GET /merchant_info/1859.html?click=1&p_id=&g_id=540736 HTTP/1.1" 200 21276

后面这段就没了

"-" "Baiduspider+(+[url]http://www.baidu.com/search/spider.htm[/url])"

在httpd.conf中把loglevel设置为info 就可以了

柠檬语菲 发表于 2008-7-1 21:00

前面说的很清楚，俺就不回答了

干豇豆 发表于 2008-7-1 21:34

看IIS日志

yyfs88 发表于 2008-7-2 21:46

:o 好好学习

gxgtjl 发表于 2008-7-7 10:27

自已没有服务器可以查吗？这是我的网址：
[url=http://www.jisu888.com]http://www.jisu888.com[/url]
[url=http://www.bhzhenzhufen.cn/]http://www.bhzhenzhufen.cn/[/url]

yyqslly 发表于 2008-7-7 11:42

高手真多

查看完整版本: 如何查看百度的蜘蛛是否来过本站？