禁止搜索引擎收录和抓取网站内容

 有些时候我们不希望搜索引擎抓取我们的网站内容。

就直接在网站根目录建立一个 名字为robots.txt的记事本文件

里面直接写：

User-agent: * 

Disallow: / 

这个是禁止全站抓取的

比如想单独禁止抓取收录网站下的 a 目录

就直接写 Disallow: /d/ 就行了

另外这个记事本如果需要备注和注释的话 在前面加# 就行

我们在需要某一个搜索引擎的时候可以这样写

User-agent: Baiduspider Disallow: 

User-agent: * 

Disallow: /

这个是只允许百度抓取