关于robots

    [雨 December 10, 2007 10:36 | by ]
今天大概看了一下 robots 的语法,但是发现个问题,大家都知道robots是为了让搜索引擎不收录的敏感目录和敏感文件的,但是因为这本身就是个 txt 的文本,入侵者直接访问这个 txt 的文件,貌似比用搜索引擎来得更方便点吧。。
不知道是不是个弊端呢,有时候我们在猜不出后台或者其他信息的时候可以尝试访问robots,看是否存在这个文件,说不定运气比较好,会访问到的呢。这样的话也就省的用搜索引擎了,直接就可以访问到了这个文件,就可以了解相应的敏感目录了。。
不知道这个robots是为了泄露敏感信息还是为了保护敏感目录的。。曾经想过用 ACL 设置相应的访问策略,但是如果设置了 ACL ,搜索引擎不也禁止访问了么。那蜘蛛不是整站都搜索了 ?  
我们看下 BO-BLOG 的robots

Highslide JS


再看下 google 的 robots

Highslide JS


baidu 的

Highslide JS


Technology | Comments(0) | Trackbacks(0) | Reads(6438)
Add a comment
Emots
emotemotemotemotemot
emotemotemotemotemot
emotemotemotemotemot
emotemotemotemotemot
emotemotemotemotemot
Enable HTML
Enable UBB
Enable Emots
Hidden
Nickname   Password   Optional
Site URI   Email   [Register]
               

Security code Case insensitive