百度站长平台《Web2.0反垃圾详细攻略》如下：

一、web2.0站点与垃圾内容

由于大多数web2.0建站系统存在漏洞，攻克技术成本较低，且群发软件价格低廉，容易被作弊者利用，近期我们发现大量web2.0站点被群发的垃 圾信息困扰。这些垃圾群发内容无孔不入，除论坛、博客等传统的web2.0站点受到困扰外，现已蔓延到微博、SNS、B2B商情页、公司黄页、分类信息、 视频站、网盘等更多领域内，甚至连新兴的分享社区也受到了影响。从以前的论坛帖子、博客日志，扩展到供求信息页、视频页、用户资料页，这些任何由用户填写 和生成内容的地方，都会被作弊者发掘利用，形成大量的web2.0性质的垃圾页面。

搜索引擎在发现web2.0性质的垃圾页面后必将做出相应应对，但对真正操作群发的作弊者很难有效的打击，所以作弊者容易利用web2.0站点极低 成本且自身安全这些特点，做出更多危害网站、危害用户、危害搜索引擎的行为。若网站自身管理不严控制不力，很容易成为垃圾内容的温床；有些网站为了短期流 量而对垃圾内容置之不理，这无异于饮鸩止渴。

网站不应仅仅是平台的提供者，更应该是内容的管理者，积极维护网站自身质量非常重要。若网站任由垃圾内容滋 长，不仅会影响网站的用户体验，同时也会破坏网站口碑和自身品牌建设，造成正常用户流失，严重时，还会使搜索引擎降低对网站的评价。

对于作弊者来说，在web2.0站点上发布垃圾内容的目的就是被搜索引擎收录，如果不能让垃圾页面在网站和搜索引擎上消失，他们依然会持续不断地产生更多垃圾内容。百度站长平台希望和站长一起打击垃圾页面，帮助网站良性发展，共同维护互联网生态环境。

二、哪些内容会被百度判别为垃圾内容

一切对用户无意义，且会伤害用户的内容，就是垃圾内容。我们总结了以下几种比较典型的案例，以示说明：

1，与网站或论坛版块主题不符的内容
群发者通常都是大面积群发内容，多数情况下不会注意站点及版块主题，有时我们会在视频网站中见到“XXX医院治疗白癫风效果好”的内容，会在化妆品 论坛发现航空公司的虚假电话，会在音乐网站中找到商品推销信息（当然不是卖CD的）等等。对于这些主题明确的站点或论坛，清理垃圾内容的意义不仅在于保证 网站体验，也是从自身发展考虑维护用户忠诚度，提高核心竞争力的事情。举例：
http://cang.baidu.com/cases99/snap/79ff52406a9358986d115dc8.html 网站主题为化妆品，出现“找小姐”等不良内容广告
http://cang.baidu.com/cases99/snap/f84bec4e99508525a9e67fce.html 网站主题为视频，出现明显商业广告性质的医疗信息

2，欺骗搜索引擎用户的内容
1）垃圾信息为了在众多搜索结果中脱颖而出、吸引用户注意，通常会使用诱人的标题，或在内容中添加大量关键词，有别于真实用户发帖时使用自然语言表达的情况。举例：
http://cang.baidu.com/cases99/snap/c2c0b07346650b4d292e0368.html “优酷土豆%守望的天空29集”–有悖于普通用户发布信息的习惯。
2）有些帖子内容是一段没有任何意义的文字，或者随意采集来一篇文章，而中间穿插了一些热门关键词。举例：
http://cang.baidu.com/cases99/snap/c17615311d6d4531bb4b33cc.html
http://cang.baidu.com/cases99/snap/1baad31c3d640eeceb11823d.html
3）有些文章看标题以为在说A事，而主要内容却在讲B，且与A毫无关系。举例：
http://cang.baidu.com/cases99/snap/ce87d21d625937ebd9eee4c2.html
http://cang.baidu.com/cases99/snap/c17615311d6d4531bb4b33cc.html
4）对于视频音频网站来说，无论内容上传者是否为恶意，只要视频或音频文件不能满足用户需求或者与标题所述不符都应该清除掉。举例：
http://cang.baidu.com/cases99/snap/c8ea73b9a98c51205104b3c1.html 乍一看以为是电视剧专辑，实际视频平均不足1分钟
http://cang.baidu.com/cases99/snap/1e7b322fb94512c064e0fec0.html 视频内嵌入了联系方式，名为介绍武艺，实际是在推广另一艺人，视频站点成为其免费的推广平台。

3，欺骗网站诈取分帐式广告收益的内容
部分web2.0站点为了鼓励用户上传内容，会设计一套现金鼓励机制，比如视频网站，根据视频前面的广告展现量来计算用户收益，少数分成用户会采取一些不正当的手段从搜索引擎骗取流量，从站方诈取分成收益。如大量上传短小视频，并在视频网页上堆积诱人的关键词。

4，恶意利用web2.0网站为自己做推广、谋福利的内容。举例：
http://cang.baidu.com/cases99/snap/16107c3e4e885c024d29ed38.html
http://cang.baidu.com/cases99/snap/1e7b322fb94512c064e0fec0.html
视频内嵌入了联系方式，名为介绍武艺，实际是在推广另一艺人，视频站点成为其免费的推广平台。

5，有违法律法规的不良信息，如诈骗中奖联系方式、虚假联系电话、不良信息。举例：
http://cang.baidu.com/cases99/snap/79ff52406a9358986d115dc8.html
http://cang.baidu.com/cases99/snap/30c36a2b013ae249aacfbc3e.html
http://cang.baidu.com/cases99/snap/af71c5ec8b83e2eed1cb783d.html
http://cang.baidu.com/cases99/snap/f4633d781c76393f9b11343d.html

三、网站管理员面对垃圾内容，如何应对

出于对网站自身发展的考虑，为了使搜索引擎能够提供更加公平的结果，为了维护互联网生态环境，以及给网民提供更好的上网体验，我们认为web2.0站点或论坛版块里存在上述内容是非常不合适的，网站管理员应对垃圾内容进行重点清理，可以采取以下措施：

1，删除垃圾内容，并将这些页面设置为404页面后，及时通过百度站长平台http://zhanzhang.baidu.com/ 的死链工具提交死链列表。不仅令百度对站点的自我清理行为及时响应，更方便站点主动控制网站内容在搜索引擎的呈现情况。

2，提高注册用户门槛，限制机器注册
1）群发软件通常使用自动的程序探测论坛默认的注册文件名、发帖文件名。管理员可以不定期的修改注册用户文件名、发帖文件名；注册、发帖按钮使用图片；与程序默认的不同，可以防止被自动程序搜索到。
2）发帖机通常是机器注册，行为模式单一。管理员可添加一些需要人工操作的步骤，有助于限制机器注册。 如：使用验证码；限制同一邮箱注册ID的数量，同时启用邮箱验证；使用更为复杂的验证机制；经常更换注册问答。
3）除了在注册处设置门槛外，还可以控制新用户权限。如要求完成上传头像、完善用户信息等人工操作步骤后才开放发帖功能；在一定时间内限制新用户发帖；限制新用户发布带链接的帖子，待达到一定级别后再放开。

3，严控机器发帖行为，如使用验证码、限制短时间内连续发帖等。

4，建立黑名单机制，将群发常用词、广告电话和网址等加入黑名单，对含有黑名单内容的帖子进行限制或清除。黑名单应该不断维护，以堵截原有垃圾词汇发生变形和新生垃圾词汇。

5，对站内的异常进行监控。发现注册量、帖子数，甚至站点流量爆增后，及时发现和查找原因。

6，对站点内用户的行为进行监控
1）部分异常用户的ID结构有别于普通用户，如使用无意义的字母数字、或几个单个汉字的无序组合，如：gtu4gn6dy1、蝶淑琴；使用商业词作为ID，如：轴承天地7、hangkongfuwu123。
2）发布内容间隔过短
3）发布的内容绝大部分非常类似
4）发布的大部分内容里含有类似的特征，如某个网址、电话、QQ号码等联系方式

7，不允许发布带有可执行代码的内容，避免弹窗、跳转等严重影响用户体验的情况发生。

8，对部分web2.0位置提及的链接，使用“nofollow”进行标记，如：bbs签名内的链接、BLOG回复ID自置的链接
http://cang.baidu.com/spamcase/snap/a3103920926c494f0e3030ad.html

9，论坛中的广告、灌水版块，建议加上权限限制，或者禁止搜索引擎收录。

10，关注建站程序的安全更新，及时安装补丁程序。保障用户账号安全，避免发生盗用正常用户账号或历史沉寂用户账号发布垃圾内容的情况发生。

• 收到百度的100,什么时候能收到GA的PIN呢 (52)
• 好久不见,送上几个百度邀请码 (66)
• 百度终于恢复了 (48)
• 百度站长俱乐部部分关于SEO问答整理 (38)

您可能也喜欢：
百度站长俱乐部部分关于SEO问答整理	收到百度的100,什么时候能收到GA的PIN呢	好久不见,送上几个百度邀请码	百度终于恢复了	控制百度搜索引擎收录的方法
无觅

大多数门户网站的首页栏目列表里的内容链接都是指向到文章页的，而且链接的锚文本一般也是文章的标题，并指向到对应文章。但是新浪网的首页是怎么做的？我们来看下面的图片。

上图是我写文章的时候截取的新浪网首页的新闻栏目，因为可能大家看到新浪网首页的时候已经不是上图的内容了，但是就算文字内容不一样，但是这种方式大家随时去看应该是不会变的，这里我就来解释一下图片：

1、红色粗线的链接。看起来像是文章标题，其实是指向到专题页的。

2、蓝色细线的链接。跟在专题页面后，链接内容是专题的相关内容，指向到对应的文章页。

按图中的例子就是：

1、“中方:菲行动改变不了黄岩岛属中国”链接的是“中国菲律宾在南海对峙”的专题页面。虽然专题页面的Title并不是“中方:菲行动改变不了黄岩岛属中国” ，但“中方:菲行动改变不了黄岩岛属中国” 的确是和专题页面密切相关的。并且这个锚文本是会根据该专题的随时变动的，但是不管锚文本的内容怎么改，链接指向是不变的，都是指向到专题页面。

2、“菲议员呼吁制裁中国”的链接是指向的对应的文章内容页，标题是“菲总统改口称愿合作采油 议员呼吁制裁中国”，从文章内容页的面包屑也可以看出和上面的专题页面属于从属关系。文章在首页的标题比完整标题短了。

新浪网首页的内链为什么要这么做呢？大概判断为：

1、丰富专题页面链接的文本属性，因为内容是高度相关的，更能帮助搜索引擎判断专题的内容。

2、除了为文章页的链接文本属性更精确以外，也是为了前面的专题链接节省空间。

可能还有一些其他的好处，这里就不详谈了。这种方法利用起来的比较多，除了利用在专题页面上，栏目页、二级域名、频道页等都可以使用这个方法。具体来说一下网站的具体做法吧。

一、文章可以另外设置标题，首页给专题/栏目的链接文本可以直接是文章的短标题，标题的字数不能太长。

二、首页在更新的时候，专题/栏目的链接不会被更新。

三、多条相关信息需要出现在首页。将第一条指向专题/栏目页面，其他以列表形式指向对应的文章内容。

四、将专题链接文本的对应文章，设置为专题/栏目页面的置顶或者第一篇文章，让用户点击进来后就一眼能看到，不会觉得被欺骗。

以上就是本文研究的新浪网首页内链的一些小细节，具体的做法相信很多CMS系统都是可以完成的。希望文章能够给大家规划网站内链的时候一些帮助。本文由海天无影原创，发表于上海医略有限公司http://www.yelot.com，转载请注明出处。

竟然没有和这篇文章相关的日志，看官还是随便转转吧……

• 博客文章总结，迎接PR更新 (66)
• 春来了，今天蛮杯具的……（多图） (0)
• 世界杯开赛，又是一个不眠夜 (23)
• 提高WordPress访客的用户体验 (21)
• 海天又要回去了…… (65)
• 回南京喽 (45)
• Apache Rewrite伪静态基本及URL跳转 (31)
• 失去了才知道美好,在一起不是谁为了谁-《史莱克4》影评 (54)
• 国庆结束,海天回来了 (56)
• 新海天无影BLOG开博第一篇 (16)

页面结构类

导航类

表单

功能模块

内容

动作

状态

• HTML判断浏览器加载css的条件注释语句 (26)

一、什么页面价值

前面我们说了，某个页面满足了某一用户的特定需求，就体现了这个页面对用户的价值。那么对搜索引擎而言，价值体现在哪些方面呢？一个简单的推论，所有可能会对用户产生价值的页面都是对搜索引擎有价值的，将这些页面建入搜索引擎的索引中能够满足最终检索到它们用户的需求，我们称这种价值为检索价值。只要是能解决某个用户信息需求的，并且是可以通过某些正常检索需求到达的，那么就是有检索价值的。

小学生张三喜欢在qzone上写日记，写他前天吃了什么，今天玩了什么。这些内容，是有价值的。它们对张三的家长、同学、老师，以及其他小学生，和对小学生日记感兴趣的人来说，都是有价值的。对于这个信息体来说，“张三”这个名字是检索的“key”。

有一些信息单元，只有“浏览”价值，而没有到达该信息的检索途径，那么该资源可能是有价值的，但检索价值就很低。比如一张百度大厦附近的地图，从浏览角度，是有价值的；但是如果没有任何周边文字说明（或者link的anchor text），只有一张光秃秃的地图，就没有检索价值。当然，如果图片的内容识别技术，有朝一日能自动识别出这个是“百度大厦附近地图”，或者能够自动分析出地图内的各种大厦、街道、餐馆等的名称，那么这张图一样变得有检索价值了。所以一个页面是否有检索价值，应该取决于两点：
1） 是否能解决某个特定的需求（价值）
2） 是否可以通过某个常规的搜索方式获得该信息（检索）

那么，没有检索价值的页面，是否对搜索引擎就没有价值了呢？仔细想想，答案是否定的。索引只是搜索引擎的一个环节，对于其他环节而言，没有检索价值的页面有可能对我们更好的收录那些检索价值高的页面有帮助。比如对负责抓取互联网资源的spider而言，有一些页面，本身没有检索价值，但通过这些页面的抓取和分析，能够更快的帮助我们掌握这一类页面没有检索价值这一重要信息，从而节省更多的流量进行更加有效的抓取。

考虑到这种价值可以算作一种“间接的”检索价值，最终还是立足于索引价值的，在本文中就不再展开论述，我们只关注“检索价值”这一根本问题。下文中提到的“页面价值”特指页面的“检索价值”。

二、为什么要研究页面价值

首先，互联网上的页面是无穷尽的，而搜索引擎的硬件资源是有限的，想用有限的资源去覆盖无穷尽的互联网，我们就需要对页面价值做出判断，不收录那些无检索价值的页面，少收录那些检索价值低的页面。这是页面价值在收录控制方面的应用。

第二，搜索引擎spider的抓取能力是有限的，出于访问友好性的考虑，对于一个网站或一个IP抓取速率需要有一个抓取速率的上限。在这一限制下，抓取或页面更新就需要有一个先后顺序，而这一排序的主要参考依据就是页面价值，或者说对页面价值的预测（未抓取时）。这是页面价值在spider调度方面的应用。

第三，对于某些页面，页面内容发生变化，导致它的检索价值从有到无，典型的就是变为“死链”，或者“被黑”。对于这些页面，好的搜索引擎会在第一时间将其排除出索引，或在检索时对其进行屏蔽，以保证返回给用户的结果是更多检索价值高的“好页面”。对于另一些页面，它不仅具有很高的检索价值，而且有很强的“时效性”，能够第一时间让用户检索到这些页面对搜索体验有很大的提升。对搜索引擎而言，越快的收录和索引页面意味着越多的额外资源开销，以多快的速度收录和以多短的周期更新索引，需要通过页面价值的分析来指导。这两方面是页面价值在死链率和时效性两大搜索引擎指标提升上的应用。

最后，普遍意义上的页面价值高低对搜索引擎返回给用户的结果排序上也存在着指导意义。理想情况下搜索引擎的结果是按照与查询请求的相关性进行排序的，在相关性大体相当的情况下，用户更倾向与浏览普遍意义上页面价值高的网页。这是页面价值在ranking方面的应用。

可以说，页面检索价值的研究是搜索引擎中的一项较为基础的工作，对页面价值的认识和判断的准确程度直接影响着搜索引擎的覆盖率、死链率、时效性等几大主要指标。

三、如何判断页面价值

前文中提到过一个小学生张三qzone日记的例子。我们认为这个页面是有价值的，对张三的同学，朋友，家人都有价值。与此类似的，百度CEO李彦宏在i贴吧上发表一条十几个字的i贴，也是有价值的，对李彦宏的上千万粉丝都有价值。虽然李彦宏的i贴长度可能远小于张三的日记，但就这两个页面的价值来说，我们都会有一个共同的认识，即从普遍意义上讲，李彦宏的i贴价值远大于张三的日记。（当然，对于张三的妈妈来说很可能这个价值的关系是相反的）

再举个例子，搜索某个人的手机号码，搜索引擎返回了一个结果，是这个人在某个论坛上的一个回复。虽然这个手机号码关心的人不多，但因为资源是绝对稀缺的，对于关心这个手机号码的查询需求，这个页面是完全不可替代的，因此具有极高的价值。

另外，页面检索价值，还受到页面质量的影响。相似的页面，对于满足用户需求来说，往往会有很大差异，比如资源下载速度，页面的布局，广告的多寡。这类差异，姑且称之为页面质量。

最后，有些页面具有明显的公众话题性质，且这些资源往往在刚刚产生时有非常高的关注度，随着时间的推移热度显著下降，有着“新闻”的特征。典型的像各种“门”事件，地震、火灾等大型的自然灾害。我们认为这类资源具有“时效性”特征。

所以，一个页面的检索价值，大致受以下四个要素的影响：
感兴趣的受众群大小
该页面的稀缺程度（可替代性）
该页面的质量高低
该页面的时效性特征强弱

这四种要素，简称受众，稀缺，质量和时效性。

1. 受众

受众群体的大小，即代表了用户检索需求的大小。评价受众的大小主要依据信息发布源的受众和信息内容本身受众两大方面。具体因素包括且不限于：

网站忠实用户群大小

一般来说，拥有自己忠实用户群的知名网站，他们的成功，在于他们的内容和服务，比别人更能吸引和满足用户。从这个角度来说，我们可以推论，拥有更多忠实用户群的网站上的内容，会比忠实用户群较少的网站上的内容，有更多的既有和潜在受众群。这样的话，忠实用户群大小，就可以变成对站点内资源检索价值的一种衡量指标。忠实用户群的好处在于，它是变动的。如果一个网站变差了，那么用户就会用脚投票。超链有过期问题，作弊问题，而虚假用户群作弊很难。一般所谓的网站知名度，会和忠实用户群数量密切相关。

资源分布规律

我们再考虑一个网站内部的资源分布所体现的受众群大小问题。比如新浪新闻首页的那些推介内容。新浪编辑为什么要推这些内容？因为他们认为这些是用户最感兴趣的。那么从索引价值角度而言，相当于有一个庞大的编辑团队，已经对这些内容打上了“符合大众口味”的标签。搜索引擎只需要乐享其成就行了。这样的话，资源相对于某些结构性关键页面（首页、频道页等）的链接深度，也可以成为衡量一个资源受众群大小的指标了。

访问热门度

我们再从访问热门度角度来考虑受众群大小问题。这个是最直接的，当然，它需要第三方的工具来获取关键数据。通过这个途径，获取的不应仅仅是需要入库的页面，还有用户访问一个网站的访问模式。

超链

超链某种程度上也是受众群大小的反映。某个资源的质量越高，接触的受众群越大，那么获得正常链接的数量往往也越大。

内容特征
A：我写博客：“传言郭德纲要上春晚了。”
B：我写博客：“我今天吃早饭了。”

同样的来源，前者的受众必然高于后者。即：当在发布源相同的情况下，具有公众属性的内容分值会更高。

2. 稀缺

稀缺主要是描述页面在互联网中的独特性。说到稀缺往往会想到重复，稀缺是否等同于无重复，我们应该怎样解读这一概念呢？可以看一个例子：

某人发表了一篇针对某新闻事件的原创博客，随后被新浪转载到了新闻频道。从描述的内容上讲，这是一种重复。但这种重复仅仅是主体内容上的重复，一方面它的转载带来了访问速度、稳定性等方面的增益，并且之后的检索用户还有可能用“新闻事件+新浪”来检索此新闻。这可以被称之为站点增益。另一方面，它在转载过程中可能会改变页面的标题，而且依托其受众，在转载页面上，还有可能出现更多的有价值评论和回复等，还有可能存在指向其它相关事件的新闻链接。这些可以被称之为内容增益。因此即使主题内容没有任何变化，新浪的这次转载也是有价值的，其稀缺度也是较高的。

同样，反过来说，如果转载的网站相当不知名，则其无法带来站点名/稳定性/速度的增益。更有甚者，转载之后在页面上加入大量广告妨碍阅读，或者只转载了内容中不完整的一部分，这样的转载，或者说采集，就是纯重复的，与采集源相比，就是没有检索价值的了。

综上所述，对于主体内容重复的页面，我们应该评价其是否存在站点增益和内容增益，只有对于大量完全无增益的重复页面，我们才应该认为其稀缺度较低。

3. 质量

页面的质量是它对需求的满足程度的一种体现。判断页面质量的高低，应该是从最基础的需求依次递进的。

首先，不能是死链、网站要有一定的稳定性、访问速度要令人满意。其次，主体内容是否完整、版式和字体是否易读、各类广告会不会太多。最后，信息是否丰富、延伸出的次级需求是否满足。

典型的低质量页面存在以下一些特征：
主需求无效/未满足（过期分类广告/软件下载页面，下载链接无效等）
死链
虚假信息/诈骗等
空页面
站点不稳定
影响主需求的权限问题（下载/浏览需要注册会员/积分等）
信息不完整（转载不全等）
浏览体验差（广告/字体/页面布局等）

典型的高质量页面存在以下一些特征：
访问速度快（页面加载快/资源下载速度快）
页面整洁干净，主体内容在显著位置
页面信息完整
页面元素丰富（文字、图片、评论、相关推荐等）

4. 时效性

“时效性”是页面价值的一个属性，它一般体现在两个方面：一是页面所描述的事物本身有着较强的公众话题性，容易被传播。这其实是受众的一个体现。二是页面所描述的事物仅在第一时间有较高热度，随着时间推移热度显著下降。这是一种“新闻”性。对于具有上述两种属性的页面，如果搜索引擎spider发现页面的时间正处于该事物的“爆发期”或“爆发期”之前，我们认为该页面具有时效性。

需要说明的是，搜索引擎的广义“时效性”是指对所有有价值新资源的及时收录提供检索，而所有的有价值新资源中，有一大部分其收录速度的提升对用户的搜索体验改善意义是不大的，比如介绍如何瘦身的知识性文章，张三的日记。页面价值中的“时效性”指得是一种突发时效性，也就是所有有价值页面中最需要及时收录的那些。对页面时效性的判断是为了指导我们将搜索引擎有限的资源投入到最关键的地方，产生最好的性价比。

判断页面的时效性价值，主要通过下面一些途径：
页面本身受众是否有短时间的突增，比如超链爆发。贾君鹏的帖子就是一个典型的例子。
描述相同事物的互联网页面是否有段时间的突增。贾君鹏事件短时间内爆发出大量相关讨论、报 ...
根据一个集合内的页面是否具有上述两种特征，推测该集合的时效性价值。比如魔兽世界吧经常 ...

四、页面价值的研究重点

前文已经介绍了页面价值的含义，研究的意义与价值判断的方法。最后我们再看一下，从技术角度上，这一方向的研究中的重点方向。对页面价值的研究工作主要致力于三方面：

对页面价值体系的认识。我们目前对页面价值的认识是来源于前文所述的四个维度，这个认识是否全面，对于不断变化的互联网环境与用户需求，这些维度应该如何扩展与变化才能更好的服务于整体的搜索体验提升，是一个很重要问题。
对于反映页面价值的页面特征提取。巧妇难为无米之炊，挖掘更多的页面特征，更准确合理的特征提取是页面价值判定准确率提升的基础。
对各种页面特征的组合策略（机器学习）。针对不用的应用方向，需要利用相应的特征通过合理且高效的策略拟合出页面价值的最终评价结果。

转载自：百度搜索研发部

• 控制百度搜索引擎收录的方法 (24)
• 代码生成Wordpress全面SEO信息Keywords,Description,Title (49)
• 预告发布：代码生成Wordpress全面SEO信息Keywords,Description,Title (28)
• 百度站长俱乐部部分关于SEO问答整理 (38)

robots.txt文件控制

什么是robots.txt文件?
搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。spider在访问一个网站时，会首先会检查该网站的根域下是否有一个叫做 robots.txt的纯文本文件，这个文件用于指定“蜘蛛”在您网站上的抓取范围。您可以在您的网站中创建一个robots.txt，在文件中声明 该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。

请注意，仅当您的网站包含不希望被搜索引擎收录的内容时，才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容，请勿建立robots.txt文件。

robots.txt文件放在哪里?
robots.txt文件应该放置在网站根目录下。举例来说，当spider访问一个网站（比如 http://www.abc.com）时，首先会检查该网站中是否存在http://www.abc.com/robots.txt这个文件，如果 Spider找到这个文件，它就会根据这个文件的内容，来确定它访问权限的范围。

我在robots.txt中设置了禁止百度收录我网站的内容，为何还出现在百度搜索结果中？
如果其他网站链接了您robots.txt文件中设置的禁止收录的网页，那么这些网页仍然可能会出现在百度的搜索结果中，但您的网页上的内容不会被抓取、建入索引和显示，百度搜索结果中展示的仅是其他网站对您相关网页的描述。

robots.txt文件的格式
"robots.txt"文件包含一条或更多的记录，这些记录通过空行分开（以CR,CR/NL, or NL作为结束符），每一条记录的格式如下所示：

":"
在该文件中可以使用#进行注解，具体使用方法和UNIX中的惯例一样。该文件中的记录通常以一行或多行User-agent开始，后面加上若干Disallow和Allow行,详细情况如下：

User-agent:
该项的值用于描述搜索引擎robot的名字。在"robots.txt"文件中，如果有多条User-agent记录说明有多个robot会受 到"robots.txt"的限制，对该文件来说，至少要有一条User-agent记录。如果该项的值设为*，则对任何robot均有效， 在"robots.txt"文件中，"User-agent:*"这样的记录只能有一条。如果在"robots.txt"文件中，加入"User- agent:SomeBot"和若干Disallow、Allow行，那么名为"SomeBot"只受到"User-agent:SomeBot"后面的 Disallow和Allow行的限制。

Allow:
该项的值用于描述希望被访问的一组URL，与Disallow项相似，这个值可以是一条完整的路径，也可以是路径的前缀，以Allow项的值开头的URL 是允许robot访问的。例如"Allow:/hibaidu"允许robot访问/hibaidu.htm、/hibaiducom.html、 /hibaidu/com.html。一个网站的所有URL默认是Allow的，所以Allow通常与Disallow搭配使用，实现允许访问一部分网页 同时禁止访问其它所有URL的功能。

Disallow:
该项的值用于描述不希望被访问的一组URL，这个值可以是一条完整的路径，也可以是路径的非空前缀，以Disallow项的值开头的URL不会被 robot访问。例如"Disallow:/help"禁止robot访问/help.html、/helpabc.html、/help /index.html，而"Disallow:/help/"则允许robot访问/help.html、/helpabc.html，不能访问 /help/index.html。"Disallow:"说明允许robot访问该网站的所有url，在"/robots.txt"文件中，至少要有一 条Disallow记录。如果"/robots.txt"不存在或者为空文件，则对于所有的搜索引擎robot，该网站都是开放的。

需要特别注意的是Disallow与Allow行的顺序是有意义的，robot会根据第一个匹配成功的Allow或Disallow行确定是否访问某个URL。

使用"*"and"$"：
Baiduspider支持使用通配符"*"和"$"来模糊匹配url。
"$" 匹配行结束符。
"*" 匹配0或多个任意字符。

URL匹配举例

robots.txt文件用法举例

Meta信息控制搜索引擎

禁止搜索引擎跟踪网页的链接，而只对网页建索引
如果您不想搜索引擎追踪此网页上的链接，且不传递链接的权重，请将此元标记置入网页的 部分：<meta name="robots" content="nofollow">

要允许其他搜索引擎跟踪，但仅防止百度跟踪您网页的链接，请将此元标记置入网页的 部分：<meta name="Baiduspider" content="nofollow">

PS:针对网页中某一条链接,不希望百度追踪，可以试试rel="nofollow"直接写在某条链接上,百度公开申明支持nofollow的：<a rel="nofollow" href="signin.php">sign in</a>

禁止搜索引擎在搜索结果中显示网页快照，而只对网页建索引
这个方法主要是用于某些作弊手法，比如使用智能DNS判断搜索引擎给出不同页面，而又不想让其他人通过快照发现，就会屏蔽快照。

要防止所有搜索引擎显示您网站的快照，请将此元标记置入网页的部分：<meta name="robots" content="noarchive">

要允许其他搜索引擎显示快照，但仅防止百度显示，请使用以下标记：<meta name="Baiduspider" content="noarchive">

注：此标记只是禁止百度显示该网页的快照，百度会继续为网页建索引，并在搜索结果中显示网页摘要。

JS或iframe控制链接导出

虽然百度现在也支持nofollow语句，但是百度对于robots.txt这个需要严格遵守的命令都不一定完全执行，那么对于nofollow的支持程度就需要怀疑了。再者nofollow只是表示不从本页面追踪这个链接，不向这个链接导出权重。但是这个链接的指向本身还是可能会被收录的。所以为了更严格的控制链接，可以使用JS或者iframe框架来做链接。

JS目前百度是不抓去其中内容的，但是Google已经抓取了，所以用JS导出链接，实在不想让google抓取的话，可以在页面上meta信息中添加noindex、nofollow语句。

iframe框架调用的话，目前好像google都是不支持抓取其中内容的吧。

• 浅谈互联网页面价值 (9)
• 很久没来了,说说最近 (61)
• Google Adsense重生 (76)
• 收到百度的100,什么时候能收到GA的PIN呢 (52)
• 代码生成Wordpress全面SEO信息Keywords,Description,Title (49)
• 预告发布：代码生成Wordpress全面SEO信息Keywords,Description,Title (28)
• 一张图片就完成了Google搜索过程 (45)
• 谷歌中国还能战斗多久 (69)
• 百度站长俱乐部部分关于SEO问答整理 (38)
• 新版Google Maps增加中文语音识别搜索 (19)

之前海天负责的一个网站，就是用的这个判断来处理不同浏览器来加载不同css的。昨天突然出了一点问题，才发现这个HTML判断浏览器加载css的条件注释语句还是比较智能的。

昨天将一个网站从windows下换到linux下，其他浏览器访问都是正常的，但是今天来看IE9出现了CSS不能加载的问题。因为网站原来的制作人员问题，css没有hack处理，只做了判断浏览器加载不同css的处理。后来发现这个IE9不能加载css的问题竟然还是他判断语句写错了，不过很奇怪的是，同一条判断语句，在windows服务器下IE9就能正常加载css，但是在linux却不能正常加载，看来还是和服务器有点关系。

HTML条件注释语句也叫IE条件注释
因为这个条件注释语句在IE5中首次出现，并且得到了Widnows浏览器所有后续版本的支持。IE条件注释及其有效，而且非常容易记住。通过这些技巧，我们可以为基于Windows的IE5、6、7、8添加一些特殊的行为。这样做的好处是，HTML和CSS代码可以通过验证。主要的缺点是这些注释需要放在HTML页面中，而不是放在CSS中。这样，当你不需要这些东西，或者有所更改的时候，就需要维护很多的地方。好处是通过这种方式使用条件注释，可以很轻松的管理项目中的目标浏览器，并使得CSS补丁文件保持独立自由。更重要的是它帮助我们优化了 CSS样式表，保证了主要样式表的干净，这对于大型网站来说就很重要了。

条件注释判断条件

gt : greater than，选择条件版本以上版本，不包含条件版本

lt : less than，选择条件版本以下版本，不包含条件版本

gte : greater than or equal，选择条件版本以上版本，包含条件版本

lte : less than or equal，选择条件版本以下版本，包含条件版本

! : 选择条件版本以外所有版本，无论高低

条件注释判断的对象

IE6以前版本、IE6、IE7、IE8、IE9、非IE浏览器

条件注释判断的使用方法

和一般HTML注释语句一样，将需要判断的css样式用注释判断调用起来。举例：
Target ALL VERSIONS of IE（ 所有的IE可识别 ）
<!--[if IE]>
<link rel="stylesheet" type="text/css" href="all-ie-only.css" mce_href="all-ie-only.css" /><![endif]-->

Target everything EXCEPT IE （除IE外都可识别 ）
<!--[if !IE]>
<link rel="stylesheet" type="text/css" href="not-ie.css" mce_href="not-ie.css" /><![endif]-->

Target IE 7 ONLY （ 仅IE7可识别 ）
<!--[if IE 7]>
<link rel="stylesheet" type="text/css" href="ie7.css" mce_href="ie7.css"><![endif]-->

Target IE 6 ONLY（仅IE6可识别）
<!--[if IE 6]>
<link rel="stylesheet" type="text/css" href="ie6.css" mce_href="ie6.css" /><![endif]-->

Target IE 5 ONLY（仅IE5.0与IE5.5可以识别 ）
<!--[if IE 5]>
<link rel="stylesheet" type="text/css" href="ie5.css" mce_href="ie5.css" /><![endif]-->

Target IE 5.5 ONLY（只有IE5.0可以识别）
<!--[if IE 5.5000]>
<link rel="stylesheet" type="text/css" href="ie55.css" mce_href="ie55.css" /><![endif]-->

Target IE 6 and LOWER（IE6和IE6以下的）
<!--[if lt IE 7]>
<link rel="stylesheet" type="text/css" href="ie6-and-down.css" mce_href="ie6-and-down.css" /><![endif]-->
<!--[if lte IE 6]>
<link rel="stylesheet" type="text/css" href="ie6-and-down.css" mce_href="ie6-and-down.css" /><![endif]-->

Target IE 7 and LOWER（IE7和IE7以下的）
<!--[if lt IE 8]>
<link rel="stylesheet" type="text/css" href="ie7-and-down.css" mce_href="ie7-and-down.css" /><![endif]-->
<!--[if lte IE 7]>
<link rel="stylesheet" type="text/css" href="ie7-and-down.css" mce_href="ie7-and-down.css" /><![endif]-->

Target IE 8 and LOWER（IE8和IE8以下的）
<!--[if lt IE 9]>
<link rel="stylesheet" type="text/css" href="ie8-and-down.css" mce_href="ie8-and-down.css" /><![endif]-->
<!--[if lte IE 8]>
<link rel="stylesheet" type="text/css" href="ie8-and-down.css" mce_href="ie8-and-down.css" /><![endif]-->

Target IE 6 and HIGHER（IE6和IE6以上的）
<!--[if gt IE 5.5]>
<link rel="stylesheet" type="text/css" href="ie6-and-up.css" mce_href="ie6-and-up.css" /><![endif]-->
<!--[if gte IE 6]>
<link rel="stylesheet" type="text/css" href="ie6-and-up.css" mce_href="ie6-and-up.css" /><![endif]-->

Target IE 7 and HIGHER（IE7和IE7以上的）
<!--[if gt IE 6]>
<link rel="stylesheet" type="text/css" href="ie7-and-up.css" mce_href="ie7-and-up.css" /><![endif]-->
<!--[if gte IE 7]>
<link rel="stylesheet" type="text/css" href="ie7-and-up.css" mce_href="ie7-and-up.css" /><![endif]-->

Target IE 8 and HIGHER（IE8和IE8以上的）
<!--[if gt IE 7]>
<link rel="stylesheet" type="text/css" href="ie8-and-up.css" mce_href="ie8-and-up.css" /><![endif]-->
<!--[if gte IE 8]>
<link rel="stylesheet" type="text/css" href="ie8-and-up.css" mce_href="ie8-and-up.css" /><![endif]-->

• CSS层叠样式表命名参考 (14)
• phpcms多图模型调用 (35)

好吧，以后要经常来更新博客了，好歹海天最近也是做SEO的（虽然技术不高），但文章的更新是很重要的，海天还是知道的。所以以后，海天准备开一个栏目，写一些海天工作上碰到的SEO问题。

最近海天周末还是比较空的，因为顺利拿到了驾照，就再也不用每个周末起早去驾校学车了，现在也能睡个懒觉什么的了。话说海天喜欢开车的了，可能是所有刚拿到驾照的朋友的通病吧，反正海天拿到驾照以后，是又机会就开车，那是跑过高速，走过上下班高峰期……呵呵，比较庆幸的是，还没有违章记录什么的。呵呵

海天回南京后，其实一直在负责网络，负责SEO。在这段时间学了很多，也试了很多，不过现在海天还是一个小菜，所以就准备开一个SEO的栏目，写一些工作上遇到的SEO的情况吧。就不重新修改博客风格，来做那些SEO大牛们写得SEO博客了。海天还是写一些自己喜欢的内容，呵呵。

前段时间工作比较忙，对于网站SEO这一块比刚开始到公司掌握的多了不是一点两点，所以还是很感谢这个公司，感谢老板给的这个平台。工作的时候试了、做了很多，比如说做一个新站，当天百度收录，2个星期百度收录内页，3个星期文章秒收首页快照隔日，还是有点小成就感的，呵呵。

不过海天还是要不断学习，SEO这一块，要学的太多了，希望有这方面的博友，大家一起交流。以后海天就专门开个栏目，讲点海天碰到的SEO问题，看到的SEO好方法。

• 每月一更 (62)
• 有时候不知道写什么…… (72)
• 杜鹃 玄武湖杜鹃花展随拍 (36)
• 兰海 南理工二月兰随拍 (77)
• 樱花-游鸡鸣寺玄武湖随拍 (43)
• 2011年的第一场雪 (54)
• 大年初一 寻年未果 (28)
• 元旦、南京、非诚勿扰、莫愁湖、秦淮河 (62)
• 中山陵免费一日游 (32)
• 几天没来，想死你们啦 (48)

虽说是生日，可是这次并没有请朋友吃饭小聚什么的，其实一个人过下也不错。

昨天晚上，也就是20111111的晚上，和同事4个一起去看了《失恋33天》，话说这是为数不多的我想在电影院看的国产片，而且还不是国产大片。不过虽说制作成本不大，但是很多人关注哦。海天昨天是看的晚上10点的场次，差不多都是爆满，所以不用海天多说，电影还是很不错的。

电影里有海天比较喜欢的文章主演的，虽然海天只看过他的一部电视剧《裸婚时代》，但是感觉他的演技，或者接的剧本都蛮好的。这次文章在电影里，扮演一个有点娘但也有霸气外漏的白领王小贱，和刚失恋的黄小仙之间的感情故事。和以往一样，电影里好多经典的台词和段子，让观众笑的人仰马翻。

所以这部《失恋33天》还是很推荐大家看的。

好吧……海天又没话说了，今天晚上海天准备升级一下论坛到PW8.7，然后还要写几个方案……事还是一直的多。

不知道下次什么时候再回更新博客，感谢大家对海天的关注……

哦，对了，祝我生日快乐~

• 祝我生日快乐 (52)
• 妈妈，母亲节快乐，生日快乐 (19)

而且是现在更新都不知道更新什么内容了……没办法，就说说最近的事吧。

今天海天去考了倒桩，有惊无险，没有碰杆，顺利通过考试。接下来只要等几天时间就会通知去练习电子路了，可是只给3天时间练习然后就要考试了，不过早点考完也好，这样海天就又有周末时间可以休息，可以自己安排了。要不然像前段时间，好不容易一个周末都没的时间休息，还要起的比上班早去赶班车。现在就希望早点考完早点解脱了，正好秋天到了，海天又能出去拍照片了。

星期六的时候海天去参加了PHPWIND在南京召开的站长大会，见到了很多大站长的说，哎，什么时候海天的站也能像他们那样就好了，额，其实有一半也很强大了。呵呵不说了，继续努力了。本来还以为能混点奖品的，可惜抽了那么多奖，一个也没中，哎……

呵呵，马上就要国庆假期了，海天还不知道要周末度过，本来想去北京的，现在又开始犹豫了，没事还有几天，再说吧。先祝大家国庆假期开心了。

• 以后一定要经常来 (47)
• 有时候不知道写什么…… (72)
• 杜鹃 玄武湖杜鹃花展随拍 (36)
• 兰海 南理工二月兰随拍 (77)
• 樱花-游鸡鸣寺玄武湖随拍 (43)
• 2011年的第一场雪 (54)
• 大年初一 寻年未果 (28)
• 元旦、南京、非诚勿扰、莫愁湖、秦淮河 (62)
• 中山陵免费一日游 (32)
• 几天没来，想死你们啦 (48)

的确最近工作比较忙，百度的抽风加上网站的改版，让最近工作一直很不顺利，每天就盼望着百度突然收录大增什么的，但是早上查着杯具的收录，发现还是没什么改变，除了首页的关键词以微小的浮动在第一页跳来跳去……

平时上班工作忙，周末现在海天又去驾校了，每次周末去驾校起的比上班还要早，就为了赶那个方便的班车，否则自己坐车去偏僻的驾校，还不知道要什么时候。有时候星期六太累被手机闹铃吵醒后，拿着手机关掉闹铃，等被掉下来的手机砸醒时，发现班车是铁定赶不上了，索性放下手机，继续睡觉，于是星期六就这样在家宅一天，以至于耽误了3个星期才轮到上车。

上个星期海天终于能够摸到车了，第一天练了直线，第二天就练了转弯，马上第三天就要练倒桩了……希望速度能一直保持下去，那样距离拿驾照就很快 了，呵呵。话说在驾校认识两个比海天小很多的学生，蛮好的，呵呵，都希望能一起考试，一起拿驾照，加油吧。海天是要努力了，要不然周末两天的时间可不知道要什么时候才能去考试。

还有今天收到了来自Google的第一笔美元，虽然只有105美元，但是去邮局取得时候，依旧让客服帮忙直接去美元，然后拿着一张100美元和一张5美元比对了半天，呵呵。虽然从百度已经收到了好几次款，但感觉还是没有Google来的好，美元是一个原因，也许这笔来自国外的美元也很有优越感吧。

最近海天的那个电影博客被百度惩罚了，非常严重，直接拔毛了，可怜的博客啊，海天收到Google的汇款一大半是来自那个电影博客。不过那个ru的域名到明年也不能用了，所以到没觉得太可惜。但是等下还是将博客和那个电影博客的友链清理一下，现在的太乱了。

话说最近宿迁学院论坛人气还是很不错的，在群里认识几个新生，很负责人的说，海天忙的时候，他们能把新生群和论坛管理的很好，这里很感谢他们了，小白、文秘、谢小兔、兔子、0……当然其他人都很感谢你们。希望大家能一起把论坛也做的很新生群一样热闹。

好了不说了，晒一下海天收到的105美元，然后去清理友链去了~大家下次再见，原来海天没有时间去回访你们，哈哈。

来自Google的美元

• 控制百度搜索引擎收录的方法 (24)
• IE6下Js未定义函数错误解决 (46)
• Google Adsense重生 (76)
• 运动会结束了 (36)
• 收到百度的100,什么时候能收到GA的PIN呢 (52)
• 论坛已经被收录，老域名权重就是高 (53)
• 昨天情人节，正式离职 (89)
• 关于宿迁学院论坛排名及收录 (75)
• 论坛搭建，求助 (84)
• 我回来了 (98)