robots协议是1个网站根目录下的1个txt文本文件，当搜索引擎蜘蛛在拜候某个网站时，都是会核查这个网站的根域下是不是有这么1个文本文件。因此，它同时也是搜索引擎蜘蛛来到你站点抓取的第1个文件，这个...