该SEO实验室博客是用z-blog建的站，最近我发现很多的z-blog站长都不知道应该怎么设置自己的robots，其实robots设置对网站优化来说还是非常重要的。创建 robots.txt 文件，可以不让搜索蜘蛛抓取你的网站的部分目录或者文件。 对于一个网站来说并非抓取的目录和文件越多越好，因为不是所有的文件都需要被搜索引擎抓取，有兴趣的站长可以到我的网站看看robots的案例：http://www.ajun123.com。
以下几种情况有足够的理由告诉我们robots设置的重要性： 有些文件根本没有关键词或文本，比如本站的这个页面cmd.asp。 一般情况下，站内的搜索结果页面用robots设置屏蔽掉更好，比如本站的sreach.asp 网站后台管理页面，不希望被用户搜索到引来不必要的麻烦，也需要用robots设置屏 网站改版或url重写时原来不符合搜索引擎友好的链接都需要用robots设置屏蔽掉 相似度太高的页面，不符合搜索引擎的“网站相似度规则”，也可以用robots设置屏蔽掉 以下是我的个人站的robots设置规则,希望能够起到抛砖引玉的作用：
该SEO实验室博客是用z-blog建的站，最近我发现很多的z-blog站长都不知道应该怎么设置自己的robots，其实robots设置对网站优化来说还是非常重要的。创建 robots.txt 文件，可以不让搜索蜘蛛抓取你的网站的部分目录或者文件。 对于一个网站来说并非抓取的目录和文件越多越好，因为不是所有的文件都需要被搜索引擎抓取，有兴趣的站长可以到我的网站看看robots的案例：http://www.ajun123.com。
以下几种情况有足够的理由告诉我们robots设置的重要性： 有些文件根本没有关键词或文本，比如本站的这个页面cmd.asp。 一般情况下，站内的搜索结果页面用robots设置屏蔽掉更好，比如本站的sreach.asp 网站后台管理页面，不希望被用户搜索到引来不必要的麻烦，也需要用robots设置屏 网站改版或url重写时原来不符合搜索引擎友好的链接都需要用robots设置屏蔽掉 相似度太高的页面，不符合搜索引擎的“网站相似度规则”，也可以用robots设置屏蔽掉 以下是我的个人站的robots设置规则,希望能够起到抛砖引玉的作用：
