落伍者站长论坛 » 新人交流投稿(入伍区) » 站长知道(解答积分) » 加防采集代码会不会影响搜索引型收录？

pangxie168 发表于 2008-4-19 23:59

加防采集代码会不会影响搜索引型收录？

加防采集代码会不会影响搜索引型收录？

我的站因为被采集拖的很慢　所以就加了段防采集的代码

同一个IP60秒内只能浏览25个页面　

加入后　速度一下快多了

但是担心会影响搜索引型的收录？？？

各位站长有没有什么经验之谈？　或者有没有什么更好的防采集的办法？

我的是新云的程序＠　　　3Q

with4u 发表于 2008-4-20 00:09

一个蜘蛛IP会有好几个甚至更多,但同一个IP60秒内只能浏览25个页面,这是　
一定会影响的.就算不影响蜘蛛都会影响真正的浏览者阿.
"同一个IP60秒内只能浏览25个页面"这个策略不好!
你直接记录采集的IP封掉就是.同时你经常改模板.代码,让采集的经常重写采集规则也好.

ebook 发表于 2008-4-20 00:15

你直接记录采集的IP封掉就是.同时你经常改模板.代码,让采集的经常重写采集规则也好.
一定会影响的.就算不影响蜘蛛都会影响真正的浏览者阿.

pangxie168 发表于 2008-4-20 15:32

还有没有更多的经验之谈？？？

战时只考虑影响不影响蜘蛛

影响用户是后话了

tyzz 发表于 2008-4-20 20:36

用的不一样的原理的 跟收录没有什么联系

pangxie168 发表于 2008-4-26 02:28

有人跟5楼的理论一样么？？？

pangxie168 发表于 2008-4-29 13:34

顶上去寻求更多的帮助

pangxie168 发表于 2008-4-29 15:43

还是没人回答了么？

弹钢琴的程序员 发表于 2008-4-29 21:29

可以通过判断来访者的客户端类型来判断是否是搜索引擎。然后把搜索引擎的判断排除就可以了
例如下边的代码就可以判断常见的搜索引擎（asp.net C#）：
                private static string[] _WebSearchList = new string[]{"google", "isaac", "surveybot", "baiduspider", "yahoo", "yisou", "3721", "qihoo", "daqi", "ia_archiver", "p.arthur", "fast-webcrawler", "java", "microsoft-atl-native", "turnitinbot", "webgather", "sleipnir", "msn"};
                public static bool IsWebSearch()
                {
                        string user_agent = HttpContext.Current.Request.UserAgent;
                        if (null == user_agent || string.Empty == user_agent)
                        {
                                return true;
                        }
                        else
                        {
                                user_agent = user_agent.ToLower();
                        }

                        for (int i = 0; i < _WebSearchList.Length; i++)
                        {
                                if (-1 != user_agent.IndexOf(_WebSearchList[i]))
                                {
                                        return true;
                                }
                        }
                        return UserBrowser.Equals("Unknown");
                }
                #endregion

pangxie168 发表于 2008-4-30 19:08

楼上的　不会看

有点答非所问

limengdeai 发表于 2008-5-1 05:30

哈哈9楼的 就是我想找的答案

查看完整版本: 加防采集代码会不会影响搜索引型收录？