新起点博客如何设置禁止网页被搜索引擎收录和索引方法：
方法一：robots.txt
在网站根目录下新建robots.txt文件
加入以后代码
1、禁止所有搜索引擎访问网站的所有部分
User-agent:?* Disallow:?/
2、禁止所有搜索引擎访问css 和admin 目录，将CSS或admin目录修改为你指定的文件目录或文件即可。
User-agent:?* Disallow:?/css/ Disallow:?/admin/
方法二：<head>禁止方法
<head>与</head>之间，
加入
<meta?name="robots"?content="noarchive">
代码，
此标记禁止搜索引擎抓取网站并显示网页快照。
注：已经加了禁止代码，但是搜索引擎还可以搜索出来，因为搜索引擎索引数据库的更新需要时间。虽然Baiduspider已经停止访问您网站上的网页，但百度搜索引擎数据库中已经建立的网页索引信息，可能需要数月时间才会清除。
评论前必须登录！
注册