攻防世界web robots

点击进入

robotx协议简介

robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。当一个搜索蜘蛛访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果存在,搜索机器人就会按照该文件中的内容来确定访问的范围

如果该文件不存在,所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。

也就是说,robots可以控制搜索范围,也可以通过在url后加robots.txt来查找网页的存储目录。

在攻防世界ctf里,有一个关于robot协议的题

如图

进入链接,什么都没有

这题明显是考robot协议的题,根据robot协议,我们要扫描链接地址下的的网页存储目录,可以通过脚本扫描,这里通过查看robots.txt看他的网页范围,在网站后加“/robots.txt”

便可以看到有存放flag的php文件,通过访问该文件便可得到flag

####总结

也称为爬虫协议、机器人协议等)的全称是“网络爬虫排除标准”(Robots Exclusion Protocol),网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。

在网站根目录下放一个robots.txt文本文件,有时候它会声明此网站不可以被git。