robot是指机器人，在搜索引擎里，是指自动抓取网站内容的程序。robots.txt就是放在网站目录里的一个文件，搜索引擎的robot抓取网站的时候，会第一时间，去访问这个文件，并根据robots.txt里的指令去决定抓取什么内容和不抓取什么内容。
» 阅读全文
Submitted by SmallTalk on 2008, January 27, 3:57 AM
robot是指机器人，在搜索引擎里，是指自动抓取网站内容的程序。robots.txt就是放在网站目录里的一个文件，搜索引擎的robot抓取网站的时候，会第一时间，去访问这个文件，并根据robots.txt里的指令去决定抓取什么内容和不抓取什么内容。
» 阅读全文