我刚弄了个空间做网盘或其他 不想让搜索引擎抓取 所以在网上找了一下解决方法
方法有两种
- 建立robots.txt
- 增加<meta>标签
先说<meta>标签,如果不想搜索引擎建立快照的话在网页head部分加上<meta name=”robots” content=”noarchive”> 不想让搜索引擎收录的话加<META NAME=”ROBOTS” CONTENT=”NOINDEX, NOFOLLOW”> 其中noindex属性是不收录本页 nofollow属性是不收录网页链接里的其他网页 根据需要可以改成<META NAME=”ROBOTS” CONTENT=”NOINDEX, FOLLOW”>或<META NAME=”ROBOTS” CONTENT=”INDEX, NOFOLLOW”>
而robots.txt则可以详细控制搜索引擎抓取
使用方法 在主机里新建一个robots.txt(最好在根目录)
如果要防止抓取所有 在txt文件中输入
User-agent: *
Disallow: /
其中上面一行的意思是针对所有搜索引擎 如果是针对google就把通配符*改成Googlebot 百度则是baiduspider 同样适合<meta>标签里的meta name部分
第二行的意思是不抓取所有目录下的文件
可以参考http://www.google.com/robots.txt中的写法
能够使用* &通配符 比如/aaa/*.htm这样的写法 代表aaa目录下所有htm文件 而.htm$代表所有htm文件
下面是google.com的robots文件中的一部分
User-agent: * Allow: /searchhistory/ Disallow: /news?output=xhtml& 更多介绍可以到http://www.robotstxt.org/查询
相关日志
One Ping to “如何禁止搜索引擎收录你的网站或网站下指定目录?”
3 Responses to “如何禁止搜索引擎收录你的网站或网站下指定目录?”
-
1. stephen Says:
八月 20th, 2008 at 09:36有什么办法可以令Google不收录index的分页，类似于page2、page3之类的、。。。
-
2. дизельное топливо Says:
八月 22nd, 2008 at 15:54Очень хорошее и полезное сообщение. Сам недавно искал в интернете данную тему и все обсуждения связанные с ней. Но только тут нашел хороший и качественный и что немаловажно полезный материал. Спасибо автору блога за предоставленную информацию.
二月 8th, 2009 at 00:31
[...] 如何禁止搜索引擎收录你的网站或网站下指定目录? [...]