seo行业资讯

中文分词技术的分类和进行分词的原因

发布日期:2013-09-26 浏览次数:1950
为什么要进行中文分词:词是最小的能够独立活动的有意义的语言成分,英文单词之间是以空格作为自然分界符的,而汉语是以字为基本的书写单位,词语之间没有明显的区分标记,因此,中文词语分析是中文信息处理的基础与关键。
  Lucene中对中文的处理是基于自动切分的单字切分,或者二元切分。除此之外,还有最大切分(包括向前、向后、以及前后相结合)、最少切分、全切分等等。
  中文分词技术的分类:
  我们讨论的分词算法可分为三大类:基于字典、词库匹配的分词方法;基于词频度统计的分词方法和基于知识理解的分词方法。
  第一类方法应用词典匹配、汉语词法或其它汉语语言知识进行分词,如:最大匹配法、最小分词方法等。这类方法简单、分词效率较高,但汉语语言现象复杂丰富,词典的完备性、规则的一致性等问题使其难以适应开放的大规模文本的分词处理。第二类基于统计的分词方法则基于字和词的统计信息,如把相邻字间的信息、词频及相应的共现信息等应用于分词,由于这些信息是通过调查真实语料而取得的,因而基于统计的分词方法具有较好的实用性。

相关文章

·浅析网站要做好用户体验的核心在哪里
·如何轻松实现所写文章被各大论坛推荐呢?
·什么因素会对网站关键词的排名有影响
·安徽网络推广总结网络营销中常见的4种弊端
·企业关键词选择应从五个方面正确考虑
·搜索引擎对网站降权处理的原因
·合肥SEO培训老师实战分享SEO新手常见误区和培训常遇到
·基于网站信息组织的搜索引擎优化
·百度蜘蛛是怎样来判断文章质量的?
·网站优化核心观念之用户体验