中文会议： 自然语言理解与大规模内容计算

会议日期： 2005-08-27

会议地点： 南京

主办单位： 中国中文信息学会

作　　者： ; ;

机构地区： 北京工业大学计算机学院

出　　处： 《全国第八届计算语言学联合学术会议》

摘　　要： 统计方法在自然语言处理的多种应用中取得了令人瞩目的成果,但数据稀疏问题限制了应用系统性能的提高.把统计单位由词提升到词类有助于缓解数据稀疏问题,但是传统的词类体系并不能反映词语在线性邻接(ngram)特征上的相似关系,而且这种相似关系不能用作分类原则,因为它不满足传递性.为此,我们提出了一种解决方案:对于每个词,根据其在大规模语料库中的上下文分布特征,建立以该词为核心的相似词集合,用相似词的ngram估计核心词的ngram.本文介绍了相似词集合的确定方法,并介绍了这一方法在计算机辅助校对中的应用.

关 键 词： 统计方法 数据稀疏 相似词 计算机辅助校对

领　　域： [文化科学]