搜索引擎都有自己的“搜索机器人”(ROBOTS)，并通过这些ROBOTS在网络上沿着网页上的链接(一般是http和src链接)不断抓取资料建立自己的数据库。 对于网站管理者和内容提供者来说，有时候会有一些站点内容，不希望被ROBOTS抓取而公开。为了解决这个问题，ROBOTS开发界提供了两个办法:一个是robots.txt，另一个是The Robots META标签。 目前搜索引擎一般都是按照网站

在查看网页头文件相对网页做一下优化修改的时候发现了这一句： <meta name="robots" content="all" /> 但不知道其意思，于是网上搜索整理了一下相关介绍如下： 表示搜索机器人抓取该页面,并可以沿着该页面上的链接继续抓取下去 <META NAME="ROBOTS" CONTENT="I