今天大概看了一下 robots 的语法，但是发现个问题，大家都知道robots是为了让搜索引擎不收录的敏感目录和敏感文件的，但是因为这本身就是个 txt 的文本，入侵者直接访问这个 txt 的文件，貌似比用搜索引擎来得更方便点吧。。
不知道是不是个弊端呢，有时候我们在猜不出后台或者其他信息的时候可以尝试访问robots，看是否存在这个文件，说不定运气比较好，会访问到的呢。这样的话也就省的用搜索引擎了，直接就可以访问到了这个文件，就可以了解相应的敏感目录了。。
不知道这个robots是为了泄露敏感信息还是为了保护敏感目录的。。曾经想过用 ACL 设置相应的访问策略，但是如果设置了 ACL ，搜索引擎不也禁止访问了么。那蜘蛛不是整站都搜索了 ?  
我们看下 BO-BLOG 的robots



再看下 google 的 robots



baidu 的