理论教育 自然语言分析的层次及应用场景

自然语言分析的层次及应用场景

时间:2023-06-15 理论教育 版权反馈
【摘要】:语言学家定义了自然语言分析的不同层次。这是语言学分析中形式化最好因而自动化最成功的部分。语义学考虑单词、短语和句子的意思以及自然语言表示中传达意思的方法。自然语言理解程序通常将原句子的含义翻译成一种内部表示。解析器运用的是语言中语法、词态和部分语义的知识。第2个阶段是语义解释,旨在对文本的含义生成一种表示,如概念图。这样产生的结构表达了自然语言文字的意思,可以被系统用来进行后续处理。

自然语言分析的层次及应用场景

语言学家定义了自然语言分析的不同层次。

(1)韵律学(prosody)处理语言的节奏和语调。这一层次的分析很难形式化,经常被省略;然而,其重要性在诗歌中是很明显的,就如同节奏在儿童记单词婴儿牙牙学语中所具有的作用一样。

(2)音韵学(phonology)处理的是形成语言的声音。语言学的这一分支对于计算机语音识别和生成很重要。

(3)词态学(morphology)涉及组成单词的成分(词素)。包括控制单词构成的规律,如前缀(un-,non-,anti-等)的作用和改变词根含义的后缀(-ing,-ly等)。词态分析对于确定单词在句子中的作用很重要,包括时态、数量和部分语音。

(4)语法(syntax)研究将单词组合成合法的短语和句子的规律,并运用这些规律解析和生成句子。这是语言学分析中形式化最好因而自动化最成功的部分。

(5)语义学(semantics)考虑单词、短语和句子的意思以及自然语言表示中传达意思的方法。

(6)语用学(pragmatics)研究使用语言的方法和对听众造成的效果。例如,语用学能够指出为什么通常用“知道”来回答“你知道几点了吗?”是不合适的。

(7)世界知识(world knowledge)包括自然世界、人类社会交互世界的知识以及交流中目标和意图的作用。这些通用的背景知识对于理解文字或对话的完整含义是必不可少的。(www.daowen.com)

语言是一个复杂的现象,包括各种处理,如声音或印刷字母的识别、语法解析、高层语义推论,甚至通过节奏和音调传达的情感内容。

虽然这些分析层次看上去是自然而然的而且符合心理学的规律,但是它们在某种程度上是强加在语言上的人工划分。它们之间广泛交互,即使很低层的语调和节奏变化也会对说话的意思产生影响,例如讽刺的使用。这种交互在语法和语义的关系中体现得非常明显,虽然沿着这些界线进行某些划分似乎很有必要,但是确切的分界线很难定义。例如,像“They are eating apples”这样的句子有多种解析,只有注意上下文的意思才能决定。语法也会影响语义。虽然我们经常讨论语法和语义之间的精确区别,但对心理学的证据和它在管理问题复杂性中的作用只会有保留地予以探讨。

自然语言理解程序通常将原句子的含义翻译成一种内部表示。包括如下3个阶段。

第1个阶段是解析,分析句子的句法结构。解析的任务在于既验证句子在句法上的合理构成,又决定语言的结构。通过识别主要的语言关系,如主—谓、动—宾和名词—修饰,解析器可以为语义解释提供一个框架。我们通常用解析树来表示它。解析器运用的是语言中语法、词态和部分语义的知识。

第2个阶段是语义解释,旨在对文本的含义生成一种表示,如概念图。其他一些通用的表示方法包括概念依赖、框架和基于逻辑的表示法等。语义解释使用如名词的格或动词的及物性等关于单词含义和语言结构的知识。

第3个阶段要完成的任务是将知识库中的结构添加到句子的内部表示中,以生成句子含义的扩充表示。这样产生的结构表达了自然语言文字的意思,可以被系统用来进行后续处理。

免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

我要反馈