落伍者站长论坛 » 新人交流投稿(入伍区) » 站长知道(解答得积分) » 为什么蜘蛛只爬老数据，不爬最新的。

yule116 发表于 2008-5-3 11:02

为什么蜘蛛只爬老数据，不爬最新的。

为什么蜘蛛只爬老数据，不爬最新的。

周梓社团 发表于 2008-5-3 11:03

大概是蜘蛛反应迟钝:ohh:
不太了解原理
高手来解答下。

daniel70 发表于 2008-5-3 11:44

蜘蛛老了:D

wenyan1232 发表于 2008-5-3 11:53

百度的蜘蛛一般来你站后，会按照往常的顺序自上而下去爬行，寻觅新的资源，蜘蛛判断新老资源的标准是，通过当前抓取页面与上次抓取页面的对比来实现（也可能是与上次抓取的页面快照的对比），然后发现异同的链接和文本，进而进行分析抓取，在决定抓取以后，需要有段description对改页面进行描述，当然这里的 description不仅限于meta中的description，通过实验观察发现，百度蜘蛛喜欢用抓取的文本链接后面相邻位置的一段文本作标题链接的描述

希望对你有点帮助！

gabgmd 发表于 2008-5-3 15:16

学习一下

查看完整版本: 为什么蜘蛛只爬老数据，不爬最新的。