说说Robots.txt限制收录与Google网站管理员工具

最近有朋友询问：用谷歌site你的站发现Google没收录你的tag页，我的怎么？有还大部分是 ？跟版模板网认为，很多新手估计都不明其中的道理，索性就写篇文章吧。

1.为什么Google没收录tag标签页

其实跟版模板网使用的是Robots.txt限制收录，关于Robots.txt，请看《Robots.txt 是什么/有什么用/怎么写》。你也可以直接查看跟版模板网的自留地 的Robots.txt：http://www.cmhello.com/robots.txt

注意：

1.由于我自己对Robots.txt不熟悉，所以下面的规则很不规范，也不精简，甚至有错误，如果你看出了错误的地方，希望能指点一下跟版模板网，感激不尽。

2.每个人的链接样式都不一样，不要复制我的Robots.txt，否则后果自负哦

从我的robots.txt应该可以看出来，我禁止所有的搜索引擎收录tags、分类、评论、feed等多种页面类型，所以搜索引擎就会不收录这些页面，并且逐渐去除上面禁止类型的文章，如下图

很明显的是百度在3月8日的结果中已经基本把我所有的 tag和分类页 去除了，Google目前还没有完全去除(只是把tag和分类页收录结果放到了最后面的几页)，细心的你可以site一下我的站就知道了。

2.该禁止收录哪些页面类型

要知道那些页面该禁止，推荐使用 Google网站管理员工具，这是一个非常好的工具，如果你还没有使用，那赶紧用吧。

注意：跟版模板网禁止搜索引擎收录tags和分类页，仅仅是SEO测试，请不要一味跟随，否则一切后果自负。

(1)WordPress 通常需要禁止收录的页面，请参考 万戈 老大的写法：http://wange.im/robots.txt

(2)你也可以按规则添加不希望收录的页面，这里还可以通过 Google网站管理员工具的【抓取错误】查看【找不到】和【无法访问】的页面：

3.如何让搜索引擎去除已收录文章

将上图那些【找不到】页面写进robots.txt，提示搜索引擎去除收录。接着，你还可以在【网站配置】>【抓取工具权限】>【删除网址】>添加上面【找不到】的网址，提交删除申请，这样google就会处理的。

注：由上图你还可以看到，可以【测试robots.txt】和【生成robots.txt】

小 结

通过robots.txt可以很方便禁止搜索引擎收录，也可以去除已收录文章，但是写robots.txt的时候一定要注意细节，要记得使用Google网站管理员工具检测robots.txt是否正确有效。今天就说到这里吧，不懂的可以留言，建议多google一下。

强烈推荐大家看看这个视频：站长的哪些操作会导致降权和被K

PS：如果本文有哪些地方说的不对，希望大家能及时指正；如果你知道更多关于 robots.txt 和 Google网站管理员工具 的技巧，欢迎投稿分享，谢谢。