落伍者站长论坛's Archiver

夜郎 发表于 2008-5-2 23:08

这个robots.txt写的对吗?

我用的dedecms,升到V5时由于dedecms的问题
百度收录中多了很多/plus/view.php?aid=287的页面

我想在robots.txt中让百度去掉这些页面
下面这么写可以吗?

User-agent: *
Disallow: /plus/view.php

wenyan1232 发表于 2008-5-2 23:22

朋友你这样写的话只会让蜘蛛放弃view.php,而不是对你的目录进行的操作!

最好把你的后台路径等等也加进去!!!!

有待大虾指点!

夜郎 发表于 2008-5-2 23:29

我就是想让蜘蛛放弃view.php啊,因为文章已经全部是静态的,以前也已经正常收录
由于程序升级被百度重复抓取了动态地址的页面

wjwh 发表于 2008-5-2 23:41

正确

夜郎 发表于 2008-5-2 23:46

[quote]原帖由 [i]wjwh[/i] 于 2008-5-2 23:41 发表 [url=http://www.im286.com/redirect.php?goto=findpost&pid=25855230&ptid=2555159][img]http://www.im286.com/images/common/back.gif[/img][/url]
正确 [/quote]

谢谢

wenyan1232 发表于 2008-5-3 01:36

学习!

页: [1]

Powered by Discuz! Archiver 6.1.0  © 2001-2007 Comsenz Inc.