中文自动问答系统探讨

开篇：润墨网以专业的文秘视角，为您筛选了一篇中文自动问答系统探讨范文，如需获取更多写作素材，在线客服老师一对一协助。欢迎您的阅读与分享！

摘要:中文自动问答系统是网络高速发展的必然产物。论文从自动问答系统的定义入手,系统的研究了它的关键技术,并对其应用前景和发展趋势做了预测。

关键词:自动问答系统;信息检索;答案生成

中图分类号:TP271 文献标识码:A文章编号:1007-9599 (2010) 05-0000-02

Chinese Question-Answering System

Huang Li

(Baoji University of Arts and Science,Baoji721007,China)

Abstract:The Chinese question answering system is the inevitable product of the rapid development of the network.Papers from the start with the definition of automatic question answering system,the system of its key technology and its applications and development trend forecast.

Keywords:Automatic answering system;Information retrieval;Answer generated

一、引言

随着科学技术的高速发展,“信息爆炸时代”已经来临。同时由于网络技术的快速发展及Internet的大规模普及,人们可以快速高效的获取大量的信息。但是当面临具体问题时虽然人们可以通过网络搜索技术获取大量的信息,但如何从海量的信息中找出自己所需要的具体信息却十分困难。如何快速、高效的获取用户所需的准确信息是当前研究的一个热点。通过简单的研究或发展单纯的搜索技术已经很难取得长足的进步,因此必须发展自动问答系统。特别是面向中国市场的中文自动回答系统。

二、关键技术研究

自动问答系统是融合了计算机语言学、信息科学以及人工智能等多项技术为一体的智能自然语言处理技术。它通过用户采用自然语言作为输入,自动问答系统系统通过搜索、综合,提供给用户一个准确的答案,人们就能通过该系统高效、快速的获取特定的信息。虽然自动问答系统较复杂,但通过分析,我们可以得出,系统主要涉及到三部分的内容:问题分析、信息检索以及答案生成。问题分析就是通过对用户问题的分析获取问题的关键部分,对问题进行理解,为搜索准备关键词。信息检索一般都是通过借助于现有的搜索技术如百度、谷歌来检索信息的,也可通过开发自己的搜索技术来从网络海量的信息中检索出指定的信息。答案生成就是从搜索引擎搜出的海量网页中提取并进行适当的组装从而为用户提供准确而简洁的答案。

在问题分析部分主要涉及到:问题分类、关键词提取、问题相关扩展。在该部分主要涉及到分词、名实体识别、词性标注和组块分析等。对于中文自动问答系统来说,主要的一个问题就是中文自动分词。它涉及到汉语分词基础表、汉语分词规则、汉语分词算法。由于汉语和英语有很大的不同,基于英文的分词方法很难直接应用于汉语中。目前,常见的中文分词法主要有机械分词法、统计分词法、知识分词法以及神经网络分词法等。其中机械分词法就是通过采用以分词词典为模进行字符串模式匹配来实现分词操作。该方法算法简单、实现方便、也能保证一定的分词效果,但计算量太大、效率不高,缺乏实用性。统计分词法就是基于统计字间相邻的频率来判定是否为一个词,该方法适用于较大规模的系统,并且需要前期的大量参数训练,具有一定的智能性,是未来研究的一个重要方向。知识分词的核心就是知识推理。采用预设的知识库并结合推理技术来自动完成分词操作。该方法的难点主要是知识库的建立和补充。就人们在人工智能和知识库已有技术来看,现在实现基于知识库的分词还要克服许多困难,故目前还不具有实用性。神经网络分词法就是采用神经网络系统来实现分词操作。它通过模拟人脑思维过程,分布处理和建立数值计算模型,将分词知识用隐式的方法存入神经网络内部,通过自学习和训练修改内部权值,以获得正确的分词结果。该方法具有分词准确、高效的特点,但实现较复杂,并且目前还存在一些未解决的问题,是分词法发展的一个主要方向。

在问题分析部分还有一个较关键的部分就是问题相关扩展。它早在上个世纪70年代就被提出来了,主要有3类方法:全局分析法、局部分析法和局部上下文分析法。其中,全局分析法通过对所有文档中的词或词组采用相关度分析,从而实现扩展的一种方法。主要采用词聚类法、相似性词典法等方法来实现的,该方法效果较好,但不具有实用性,因为当系统太大时就无法实用了。

由于搜索技术的发展异常迅速,并且目前的实用搜索引擎功能已很强大,在此,我们就不再进一步讨论搜索技术了。

现在我们来研究答案生成中涉及到的相关技术。在该部分主要涉及到的是答案抽取技术,由于在该部分英文和中文没有必然的不同,所以可以借鉴一些国外已有的现成技术。主要有:名实体法、推理法和上下文法。其中,基于名实体的方法就是采取基于权重的方法来提取答案。其主要步骤就是:首先在被选区域进行权重标示,然后找出权重最大的就是所要的结果。推理法就是通过推理技术结合已有的抽取结果,目的是获得更加准确的结论。上下文法处理那些系统不能准确决定问题焦点的这类问题。

三、前景展望

虽然通过近年来不断的努力,基于中文的自动回答系统已经取得了一定的成绩,得到了较广泛的应用,但我们不能不看到目前的系统还存在许多问题,主要体现在:系统规模小、应用领域有限,并且答案过于简单,甚至有些系统还需要大量的人工干预。从目前研究的情况来看,基于中文的自动回答系统还需要在以下几个方面进行发展:

(一)必须进一步的研究基于中文的分词技术,不仅能快速准确的完成分词,还必须能适应不断产生的新词汇。笔者认为神经网络分词法可能是未来发展的一个主要方向,因为该方法很好的模拟了人类的思考过程,同时也具有快速接收新词汇的能力。可以预测如果能对其进行更加深入的研究必将取得较好的分词效果。

(二)在词义理解方面,还要进一步的深入,目的是准确的获取问题意义,同时还需要对一些叹词或虚词进行研究,目的是对一些特定的情况能得到更加准确的能解。目前的词义理解还停留在词义表层上,如果能更多的引入人工智能的思想,可能对其发展有很大的影响。同时,如果在该技术上能有所突破也将对其它学科产生深远的影响。

(三)在答案生成方面,不仅要进一步完善抽取技术,还需要开发答案重组技术,目的是通过抽取必要的信息,为用户提供准确、完备、简洁的答案。其中,答案重组技术十分关键,它能够对抽取的关键信息进行符合逻辑的和语法的重组。就目前的效果来看,还很不理想。同时,该技术对减轻人类的工作强度具有很大的作用。如果在研究中引入人工智能和自然语言处理技术,可能会产生意想不到的效果。

(四)在输入方面,我们不能仅仅局限于文字输入,还要开发基于语音的输入、基于图形的输入等一系列的输入新方法。在语言输入方面目前对标准语音已取得了很好的效果,但目前对方言等非标准的情况还有待进一步的研究,同时还需加强其推广,因为采用语音输入将极大的减轻人类的工作强度。至于基于图形的输入,目前字符输入技术已经很成熟了,但对图形场景输入,还在初期阶段,这主要涉及到对场景的智能分析和智能理解,目前还没取得突破性的发展。

四、结论

中文自动回答系统是随着网络技术高速发展起来的,目的是为人类快速的提供准确而简洁的信息搜索服务。论文通过对其关键技术的研究,让人们能清晰的了解到该技术的发展情况。同时,在深入分析该技术不足的基础上,对其发展进行了预测和展望。

参考文献:

[1]Sanda Harabagiu,Marius Pasca,Steven Maiorano.Experiments with Open-Domain Textual Question Answering[C].In Proceedings of COLING,Saarbruken Germany,2000

[2]朱殉,中文自动分词系统的研究.硕士学位论文.湖北:华中师范大学,2004

基金项目:宝鸡文理学院院级重点基金资助项目(ZK07124)