网站建设好了，当然是希望网页被搜索引擎收录的越多越好，但有时候我们也会碰到网站不需要被搜索引擎收录的情况。https://www.cdnanqi.cn/ 【成都南奇SEO网站优化】要启用一个新的域名做镜像网站，主要用于PPC 的推广，这个时候就要想办法屏蔽搜索引擎蜘蛛抓取和索引我们镜像网站的所有网页。因为如果镜像网站也被搜索引擎收录的话，很有可能会影响官网在搜索引擎的权重。

　　以下列举了屏蔽主流搜索引擎爬虫(蜘蛛)抓取/索引/收录网页的几种思路。注意：是整站屏蔽，而且是尽可能的屏蔽掉所有主流搜索引擎的爬虫(蜘蛛)。

　　1、通过 robotstxt 文件屏蔽

　　可以说 robotstxt 文件是最重要的一种渠道(能和搜索引擎建立直接对话)，给出以下建议：

　　Useragent Baiduspider

　　Disallow /

　　Useragent Googlebot

　　Disallow /

　　Useragent GooglebotMobile

　　Disallow /

　　Useragent GooglebotImage

　　Disallow/

　　Useragent MediapartnersGoogle

　　Disallow /

　　Useragent AdsbotGoogle

　　Disallow /

　　UseragentFeedfetcherGoogle

　　Disallow /

　　Useragent Yahoo Slurp

　　Disallow /

　　Useragent Yahoo Slurp China

　　Disallow /

　　Useragent YahooAdCrawler

　　Disallow /

　　Useragent YoudaoBot

　　Disallow /

　　Useragent Sosospider

　　Disallow /

　　Useragent Sogou spider

　　Disallow /

　　Useragent Sogou web spider

　　Disallow /

　　Useragent MSNBot

　　Disallow /

　　Useragent iaarchiver

　　Disallow /

　　Useragent Tomato Bot

　　Disallow /

　　Useragent

　　Disallow /

　　2、通过 meta tag 屏蔽

　　在所有的网页头部文件添加，添加如下语句：

<meta name='robots' content='index,follow' />：可以抓取本页，也可以顺着本页继续索引别的链接

<meta name='robots' content='noindex,follow' />：禁止抓取本页，但可以抓取跟踪本页的其它链接

<meta name='robots' content='index,nofollow'/>：可以抓取本页，禁止抓取和跟踪本页的其它链接

<meta name='robots' content='noindex,nofollow' />：禁止抓取本页，禁止抓取和跟踪本页的其它链接

<meta name='robots' content='noarchive' />：禁止搜索引擎建立快照

　　3、通过服务器(如：Linux/nginx )配置文件设置

　　直接过滤 spider/robots 的IP 段。

　　以上就是《SEO优化之如何设置让网站禁止被爬虫收录》的全部内容，仅供站长朋友们互动交流学习，SEO优化是一个需要坚持的过程，希望大家一起共同进步。

如何设置让网站禁止被爬虫收录_宜宾seo优化   https://www.cdnanqi.cn/yibin/8830.html