如何用好nofollow

　　我记得很多人知道我的博客是因为一篇关于nofollow的文章，恰好是在2年前写的。真没想到两年就这样转眼而过。现在我就来讲一下那篇文章中提到的那个nofollow做得好网站是哪个，以及他们如何做nofollow的吧。这个例子是我各种培训中都会讲到的，都已经讲得快起茧所以不想以后再说了。同时也为了让大家看看数据分析是如何指导SEO的。  

　　这个网站就是曾经在外贸B2B领域做得很成功的网站–Tradekey。这里先介绍一下这个网站的历史：这是一个完全依靠SEO起家的网站，总部在迪拜，现在是一家跨国公司，创始人非常年轻。我以前写过一篇《依靠SEO去打造一个成功的网站》，那这个网站就是经典案例。在外贸B2B领域，曾经有的网站一年都需要十来万费用，还拿不到多少询盘。但是曾经在Tradekey上，免费会员都能拿到很多不错的询盘。所以它依靠口碑在B2B领域慢慢流行起来，被誉为“B2B领域的一匹黑马”。在国内一些都比较懂网络的外贸人群中也很流行，以至于有段时间国内都出现了很多tradekey的伪代理。Tradekey是如此的强势，所以它后来基本关掉了免费会员，也就是所有在这个网站上发布产品的供应商，都要成为付费会员才可以。 在B2B领域，基本都是靠免费会员来拉人的，这样做真的需要底气。 

　　Tradekey的底气，就来源于它不错的SEO技术。很多做英文SEO的人都应该知道，在google上搜索很多的产品关键词，它都能有不错的排名，它的SEO流量非常的可观。加上和那些热门平台相比，它的供应商数量不是很多，所以大家的效果相对都能得到保证一些。  

　　这个网站也是我唯一见过的收录量曾经达到100%的大中型网站。我要讲的nofollow 的应用，就从这个网站如何提升收录开始。  

　　现在很多人都会把类似“注册”或“登录”这样的链接nofollow掉，这是因为google官方就建议这样做，当然tradekey也做了。  

红色框内的是nofollow的链接

　　不过一个网站中可以加nofollow的地方还有更多。我们来看它的导航条，在主页上，只有“Member Area” 这个链接被加了nofollow。 （如上图） 

　　但是在这个网站的其他网页上，导航条上所有的链接都被nofollow了。  

导航条更多的nofollow

　　很少有人能敢把导航条上的链接nofollow掉，它这么做的原因，通过数据来分析一下也就明白了。  

　　如果你经常使用《光年日志分析系统》这样的软件来分析日志，就会发现一个网站中有很多的链接在一天之内是能被访问很多次的。如：以下就是这个软件统计出来的某个网页一天内被搜索引擎爬虫访问的数据：  

一天内不同蜘蛛的访问次数

　　理论上来说，如果一个网页上的内容更新得不是很频繁，那这个网页一天被抓取一次就可以了。对于那种已经被收录而且内容一直不变的页面，一天被抓取一次都太多了。就算是更新很频繁的网页，一天被访问50次也完全够了。不过实际情况远比理论上的糟糕，就像上面的这个抓取数据，一个无关紧要的页面，百度爬虫一天都能抓取166次。大中型网站更糟，有一次我们分析完一个大型网站的数据，发现这个网站爬虫每天的抓取量虽然有120多万，但是其中有16万次抓取都是在抓首页这么一个网页，可以想象其他网页又有多严重。 

　　为什么我们要这么在意一个网页被重复抓取的几率呢？ 这是因为一个网站中还有很多其他的网页，爬虫压根就抓取不到。哪怕你的网站只有几百个网页，都可能面临着这个问题。一个网站如果每个页面平均被重复抓取10次，尽管可能爬虫每天的抓取量有100万，那也只有10万个页面被抓取了。一天之内的情况是如此，时间拉长到一个月内、半年内，情况不会有多大改善。虽然搜索引擎也试图解决重复抓取的状况，但是由于各种原因，会导致今天重复抓取的页面，明天还是会重复抓取的。所以很多的大中型网站，一年下来，还有一半的网页，爬虫压根都没看到过。 如果不是分析了很多网站的数据，很多人都是无法想象情况有这么严重的。 

　　在抓取量一定的情况下，适当减低一些页面的重复抓取量，那会有更多的其他页面会被抓取到。 一个网站中，最容易被过度抓取的页面，就是那些经常曝光的页面，导航条上的链接就是经常曝光的。所以Tradekey的解决办法很简单，就是在首页这么一个页面上，给爬虫留下入口去抓取导航条上的链接，但是在其他网页上，就把导航条上的链接nofollow掉。这样处理，会使导航条上链接的抓取量，从以前被抓取上万次降低到现在被抓取几十次。虽然不能达到理想中的状况，但是也比以前好了非常多。 

　　Tradekey就用这种思想处理了网站上的很多链接。如： 

大量应用nofollow

　　精彩内容，请点击下一页！

生活不易，码农辛苦
如果您觉得本网站对您的学习有所帮助,可以手机扫描二维码进行捐赠