新浪博客屏蔽百度谷歌等搜索引擎蜘蛛的抓取将会带来什么

如果你关注了今天的新闻,可能你已经看到了这个到处传播转载的新闻,8月13日有人发现新浪博客在其robots.txt(http://blog.sina.com.cn/robots.txt)文件添加了禁止百度蜘蛛访问抓取的命令,屏蔽百度的蜘蛛爬虫,禁止百度蜘蛛获取新浪博客的网页信息。这就意味着,通过新浪博客获取百度外链的方式将不可取了。志文工作室通过访问新浪博客的robots.txt,发现新闻报道情况
新浪博客屏蔽百度谷歌等搜索引擎蜘蛛的抓取将会带来什么