百度对于robots.txt文件存在限制的网站进行提示

“由于该网站的robots.txt文件存在限制指令，系统无法提供该页面的内容描述”

这是百度最近对robots.txt文件存在限制的网站，进行提示。看来百度也在不断的修改它的算法使之更人性化。以前的这个地方的提示是空的。说到这里可能有朋友会觉得百度怎么这样啊，人家不让他抓取他就应该不显示网址。这种说法是错误的，它的显示是因为其他地方有大量的链接指向这个网站，用的是某个关键词，这样的话，百度并没有去抓取那个网站，只是根据其他网站的描述给的而已。

不过这里我要问百度一句，淘宝网的标志为什么会有呢？你不抓取淘宝的网页怎么吧他的标志给找到了。此处省略五万字……