seo经验杂谈

百度蜘蛛抓取各类网页的频率各不相同

发布日期:2014-06-21 浏览次数:1944

  “如果站点地图上的链接超过 100 个,则需要将站点地图拆分为多个网页。”有些人把这句话理解为:“爬虫只能抓取前 100 个链接”,这是不对的。

  因为在“待抓取列表”里的 URL,爬虫并不会每一个链接都会抓取的。 链接放在这个列表里是没问题的,但是爬虫没有那么多时间也没必要每个链接都要去抓取,需要有一定的优先级。在“待访问列表”里,爬虫一边按照优先级抓取一部分的 URL,一边把还未被抓取的 URL 记录下来等待下次抓取,只是这些还未被抓取的 URL,下次爬虫来访问的频率就每个网站都不一样了, 每一类 URL 被访问的频率也不一样。

  那么在“待抓取列表”里的 URL,哪些是能被优先抓取,哪些是被次要抓取的呢?

  我们稍微思考一下都能明白这个抓取的优先级策略应该怎么定。首先,那些目录层级比较深的 URL 是次要抓取的;那些在模板部分的或重复率非常高的 URL 是被次要抓取的;那些动态参数多的 URL 是次要抓取的.

  这么做的原因,就是因为搜索引擎的资源是有限的,一个网站实际拥有的内容也是有限的,但是 URL 数量是无限的。爬虫需要一些“蛛丝马迹”来确定哪些值得优先抓取,哪些不值得。

相关文章

·网站主机对搜索排名的影响
·初步介绍服务器网络带宽
·专业点评百度站长平台工具的优缺点
·简要介绍百度Sitemap
·元搜索引擎的原理
·nofollow和dofollow属性标签介绍
·搜索引擎为何要积极处理重复内容
·基于PR算法的SEO的技术方法
·搜索引擎如何判断页面重复内容
·网站站内链接和站外链接的优化