致力于温州各地区中小企业seo优化推广服务

置顶推荐

新闻更新

robots.txt 如何根据某个单词禁止爬虫访问特定URL?

noindex 是告诉搜索引擎不要收录这个页面(百度还不支持)
nofollow是告诉搜索引擎不要爬行页面的链接也不要给权重。

给页面的部分链接添加nofollow标签,不能起到减少链接分散权重的办法,增加页面内其他权重。因为Google(百度不知道)是根据页面的总权重和链接总数量(包括加了nofollow的链接)来计算每个链接的导出的权重,添加nofollow,只能屏蔽这部分的导出,而无法增加其他链接的权重。
但是为什么还要添加nofollow呢?这是因为页面权重的问题,例如,很多网站的联系我们,所有的页面都有链接,这样的页面的权重一定会高过单一内容页,会抢其他页面的权重。而这样的页面却没有搜索的价值,所以使用nofollow标签。
...

2012/2/21 Comments:0蜘蛛robots.txt