seo行业资讯

搜索引擎正在面临的四大挑战——之数据存储及快速索引

发布日期:2013-03-18 浏览次数:2474

  二、海量数据存储


  一些大型网站单是一个网站就有百万千万个页面,合肥SEO可以想象网上所有网站的页面加起来是一个什么数据量.搜索引擎蜘蛛抓取页面后,还必须有效存储这些数据,数据结构必须合理,具备极高的扩展性,写入及访问速度要求也很高。


搜索引擎海量数据存储问题


  除了页面数据,搜索引擎还需要存储页面之间的链接关系及大量历史数据,这样的数据量是用户无法想象的,据说Google有几十个数据中心,上百万台服务器.这样大规模的数据存储和访问必然存在很多技术挑战。


  我们经常在搜索结果中看到,排名会没有明显原因地上下波动,甚至可能刷新一下页面,就看到不同的排名,有的时候网站数据也可能丢失。这些都可能与大规模数据存储的技术难题有关。


  三、索引处理快速有效,具可扩展性


  搜索引擎将页面数据抓取和存储后,还要进行索引处理,包括链接关系的计算、正向索引、倒排索引等.由于数据库中页面数量大,进行PR之类的迭代计算也是耗时费力的。要想及时提供相关又及时的搜索结果,仅仅抓取没有用,还必须进行大量索引计算。由于随时都有新数据、新页面加入,因此索引处理也要具备很好的扩展性。

相关文章

·安徽SEO培训发展的必然趋势
·合肥seo分析网站收录对排名的影响
·2013年安徽SEO分散流量仍然需要重视
·企业关键词选择应从五个方面正确考虑
·合肥SEO网页标题的策略分析
·搜索引擎对网站降权处理的原因
·网站优化核心观念之用户体验
·合肥SEO培训老师实战分享SEO新手常见误区和培训常遇到
·百度蜘蛛是怎样来判断文章质量的?
·搜索引擎去重算法I-Match流程