落伍者站长论坛 » 新人交流投稿(入伍区) » 站长知道(解答得积分) » 怎么知道百度蜘蛛每天都来爬？

ee6600 发表于 2008-3-17 22:11

怎么知道百度蜘蛛每天都来爬？

有的站长说，百度蜘蛛每天都来爬我的站，请问高手怎么能知道百度蜘蛛爬不爬自己的网站啊？爬过有什么痕迹吗？

mini123 发表于 2008-3-17 22:15

听说是看日志的样子

收购广告位 发表于 2008-3-17 23:18

恩。看日记。。

jjabc 发表于 2008-3-17 23:23

是的,看日志,你可以用ftp登陆到你的空间,一般空间商都为你建立log文件夹的,
你可下载里面的txt日志回来看看,打开查找baidu就知道了
个别主机要在后台开通记录日志的.如(...FreeHost System 3.7 )24小时后日志文件就生效了.
希望我能帮到你啦

abcadc 发表于 2008-3-18 09:24

看日志咯

aaanm 发表于 2008-3-18 09:43

看日志

鬼魅旋律 发表于 2008-3-18 10:20

在服务器根目录下建立 robot.txt 文件可以禁止蜘蛛爬 在里边写入声明 禁止收录部分以及制定部分的收录
"robots.txt"文件包含一条或更多的记录，这些记录通过空行分开（以CR,CR/NL, or NL作为结束符），每一条记录的格式如下所示：
"<field>:<optionalspace><value><optionalspace>"。

mmxkn2007 发表于 2008-3-18 11:12

嗯，看日记。

moatu 发表于 2008-5-8 19:18

还是不大明白！

mmxkn2007 发表于 2008-5-9 00:03

是看日记，不过很多空间商都不支持这个功能。晕倒。

zhylyk 发表于 2008-5-9 08:58

如果你用的是自己的服务器可以看 iis日志 ，如果用的是虚拟主机，那就很麻烦了。

tiyu08 发表于 2008-5-9 09:15

虚拟主机可以看么？ 怎么看呢？？

liuhong8618 发表于 2008-5-9 09:21

日志

zhoujianjian 发表于 2008-5-9 09:44

哦  还有这个   啊我还不知道呢

idcwang 发表于 2008-5-9 10:14

还有个办法就是 你直接在百度里搜你的网站 看看他抓取你的具体时间，来爬并不一定就天天给你更新抓取的。不过隔3天差不多会重新抓取一次，如果你天天都没更新，蜘蛛来2次后 基本上 就很少来了  
海腾数据 王峥 QQ7535945

大丰港 发表于 2008-5-9 12:12

看ip  就可以知道  百度蜘蛛有没有来
15        220.181.19.*        百度蜘蛛
16        159.226.50.*        百度蜘蛛
17        202.108.11.*        百度蜘蛛
18        202.108.22.*        百度蜘蛛
19        202.108.23.*        百度蜘蛛
20        202.108.249.*        百度蜘蛛
21        202.108.250.*        百度蜘蛛
22        61.135.145.*        百度蜘蛛
23        61.135.146.*        百度蜘蛛

yswhappy 发表于 2008-5-9 12:52

的确，要看日志的

erman 发表于 2008-6-23 22:31

:( 我的 看不了

jayle86 发表于 2008-6-23 23:25

不少网站程序后台就直接可以记录蜘蛛爬没爬的记录
举个例子
无忧CMS   可以记录  百度  GG  雅虎  搜搜  的蜘蛛爬行记录 精确到  几时几分

sabake 发表于 2008-6-24 01:18

你是服务器还是空间？

查看完整版本: 怎么知道百度蜘蛛每天都来爬？