搜索引擎都有自己的“搜索机器人”(ROBOTS)，并通过这些ROBOTS在网络上沿着网页上的链接(一般是http和src链接)不断抓取资料建立自己的数据库。 对于网站管理者和内容提供者来说，有时候会有一些站点内容，不希望…

如今的百度，收录网页的原则与以前有了很大的不同，几年前那一阵子，只要是网页，百度就给你收录，一个论坛程序，没有几篇文章，几天之内百度 就给你收几百页，后来百度变了，变得“挑剔”了. 搜索引擎是公平的，它的不会针对某一个网…

中午发现网站博客百度的收录页面大量增加，后来才知道百度今天大更新了。http://lzw.me 这个域名，前几天莫名地被百度给K掉了，前天百度又给放了出来，不过还是原来的100页左右，而今天就一下子放出了一千多页，历史最…