如果你关注了今天的新闻，可能你已经看到了这个到处传播转载的新闻，8月13日有人发现新浪博客在其robots.txt(http://blog.sina.com.cn/robots.txt)文件添加了禁止百度蜘蛛访问抓取的命…

近日来，很多站长都反映，124.115.0段的IP大量出现在网站LOG记录中，访问次数非常频繁，造成网站服务器CPU使用率上升，消耗大量资源。志文工作室同样受此IP段访问的干扰，以至于有限的空间总是资源紧张网站打开速度明…

搜索引擎都有自己的“搜索机器人”(ROBOTS)，并通过这些ROBOTS在网络上沿着网页上的链接(一般是http和src链接)不断抓取资料建立自己的数据库。 对于网站管理者和内容提供者来说，有时候会有一些站点内容，不希望…