该SEO实验室博客是用z-blog建的站，最近我发现很多的z-blog站长都不知道应该怎么设置自己的robots，其实robots设置对网站优化来说还是非常重要的。创建 robots.txt 文件，可以不让搜索蜘蛛抓取你的网站的部分目录或者文件。 对于一个网站来说并非抓取的目录和文件越多越好，因为不是所有的文件都需要被搜索引擎抓取，有兴趣的站长可以到我的网站看看robots的案例：http://www.ajun123.com。
以下几种情况有足够的理由告诉我们robots设置的重要性： 有些文件根本没有关键词或文本，比如本站的这个页面cmd.asp。 一般情况下，站内的搜索结果页面用robots设置屏蔽掉更好，比如本站的sreach.asp 网站后台管理页面，不希望被用户搜索到引来不必要的麻烦，也需要用robots设置屏 网站改版或url重写时原来不符合搜索引擎友好的链接都需要用robots设置屏蔽掉 相似度太高的页面，不符合搜索引擎的“网站相似度规则”，也可以用robots设置屏蔽掉 以下是我的个人站的robots设置规则,希望能够起到抛砖引玉的作用：
## robots.txt for ajun123.com #
Version 4.0.0#
User-agent: *
Disallow: /FUNCTION/
Disallow: /CACHE/
Disallow: /XML-RPC/
Disallow: /SCRIPT/
Disallow: /ADMIN/
Disallow: /CSS/
Disallow: /LANGUAGE/
Disallow: /DATA/
Disallow: /THEMES/
Disallow: /INCLUDE/
#Files Disallow: /wap.asp
Disallow: /cmd.asp
Disallow: /c_option.asp
Disallow: /c_custom.asp
#Sitemap
Sitemap: http://www.ajun123.com/sitemap.xml
以下是需要屏蔽的目录 #Files以下是需要屏蔽的文件 #Sitemap 如果网站有sitemap.xml最后还可以加上sitemap语句。 Nrobots设置规则可以参考：google管理员工具robots设置指南 z-blog的用户还可以参考一些行业中比较有名的博客，比如月光博客，方法很简单就是在网址后边有加上robots.txt即可(robots.txt在根目录下)，http://www.ajun123.com/tobots.txt就是用了这种方法 ，同理查看其它网站robots设置也用此方法。
