百度有匿名蜘蛛吗?如何识别?
百度蜘蛛已出现多类,不单有网页,包括视频、联盟、搜藏等都有。
一些第三方平台(非搜索引擎)也有蜘蛛爬行网站进行数据分析,个别工具甚至模拟百度蜘蛛(Agent伪装)。
相信有匿名蜘蛛的SEO人员,大概是出于考虑到搜索引擎官方针对黑帽手法的反作弊措施。
例如,存在匿名蜘蛛,会对桥页(Doorway Page)和隐页(Cloaked Page)的判定有较大帮助。
理论上来说,百度官方没必要使用匿名蜘蛛,但是SEO行业不少人员深信存在匿名蜘蛛。
百度的人工审核机制比较显然,这也可能是原因之一。事实上各家搜索引擎都有人工干预,合情合理。
我个人对此持怀疑态度,日常忽略匿名蜘蛛问题。不作弊,即可无忧。
记住,SEO并非欺骗搜索引擎,搜索引擎最终是为用户服务,网站最终是给用户访问。
SEO要把握好度,寻找搜索优化和用户体验的最佳结合点,一定为用户提供有价值的内容。
随着搜索引擎技术的更新,以及社会化信息的推动等因素,即使有匿名蜘蛛,作用也会日趋微弱。