robots.txt 如何根据某个单词禁止爬虫访问特定URL?

noindex 是告诉搜索引擎不要收录这个页面(百度还不支持)
nofollow是告诉搜索引擎不要爬行页面的链接也不要给权重。

给页面的部分链接添加nofollow标签，不能起到减少链接分散权重的办法，增加页面内其他权重。因为Google（百度不知道）是根据页面的总权重和链接总数量（包括加了nofollow的链接）来计算每个链接的导出的权重，添加nofollow，只能屏蔽这部分的导出，而无法增加其他链接的权重。
但是为什么还要添加nofollow呢？这是因为页面权重的问题，例如，很多网站的联系我们，所有的页面都有链接，这样的页面的权重一定会高过单一内容页，会抢其他页面的权重。而这样的页面却没有搜索的价值，所以使用nofollow标签。
还有就是有些页面会造成内部竞争，如商城根据不同排序条件所产生的页面，标题重复，内容差异不大，这类的页面也要屏蔽。

Meta
<meta name="robots" content="NOINDEX,FOLLOW" />
适用于网站内的大量模板页面，如有些网站的评论页，是单独的页面。每个文章的评论如果没有的时候，就全部都是相同的页面，这样会产生重复页面，可以设置搜索引擎不用去收录。但是页面上的链接还可以传递权重，让蜘蛛爬行。
<meta name="robots" content="INDEX,NOFOLLOW" />
收录页面，不爬行链接，其实index可以省略。这样适合一些不想导出链接的页面。
<meta name="robots" content="NOINDEX,NOFOLLOW" />
就是告诉搜索引擎不要收录也不要爬行链接。

<a>
如果不想搜索引擎爬行特定的链接，将此标记直接写在某条链接上：
<a href="signin.php" rel="nofollow">sign in</a>

其实 蜘蛛爬行时间不是一个需要你考虑的问题。
结合自己的情况来部署就好了。
单个页面通常是不会再robots.txt中屏蔽的。