1.基线方法
在特征观点对情感极性分类的对比实验中,分别从基于语料和基于情感词典的两类研究中选取具有代表性的算法作为基线方法,与本书提出的方法进行对比。
(1)基于语料的方法:基线方法3重现刘鸿宇等提出的情感极性判别方法[21]。首先人工选择情感种子词,再根据每个特征观点对所在评论句的句型来判断其情感极性。具体来说,如果特征观点对所在句子带有明显的情感极性,那么特征观点对的情感极性与句子的情感极性相同;如果该句子的褒义和贬义情感种子词的个数相同,那么特征观点对的情感极性为与其相距最近的情感种子词的情感极性;如果该句子没有情感种子词,但邻近的句子带有明显的情感极性,则以该句子的情感极性为优先判断标准。
(2)基于情感词典的方法:基线方法4重现Andreevskaia和Bergler提出的STEP算法(Semantic Tag Extraction Program)[87]。首先,人工选择情感种子词;然后,基于How Net对词语的定义,使用情感种子词的同义词、反义词和下位词来扩充种子词集;最后,对于特征观点对,在How Net中查找相关的定义,如果该特征观点对的释义中包含情感种子词,则根据情感种子词的情感类别判断该特征观点对的情感极性。
2.实验结果比较与评价
根据实验3的结果,本实验将情感极性分类的临界点设定为T=0。表5-10列出了本书提出的方法与两个基线方法的对比实验结果,包括正面情感分类准确率、负面情感分类准确率和总体情感分类准确率。实验结果反映了本书提出的算法具有较好的特征观点对情感极性判断能力。
表5-10 特征观点对情感极性分类的对比实验(www.daowen.com)
通过对表5-10中的对比实验结果进行分析,可得出以下结论:
(1)在三类产品的测试语料上,本书提出的方法在特征观点对正面情感分类、负面情感分类和总体情感分类的准确率上都显著高于两个基线方法。尤其是该方法比两个基线方法提高了约10%的准确率,充分说明了本书较大程度地改进了对情感极性的判断。
(2)在三类产品的测试语料上,基于情感词典的方法在正面情感分类、负面情感分类和总体情感分类的准确率上都是最低的。原因在于该方法在判断特征观点对的情感极性时,忽略了特征词对观点词的影响,以及否定词对特征观点对情感极性的反作用。此外,该方法还无法对评论中的流行新词和口语观点词进行情感极性分类。
(3)相比之下,基于语料的方法在正面情感分类、负面情感分类和总体情感分类的准确率上都明显优于基于情感词典的方法。这间接地反映了评论的上下文语境对特征观点对情感分类的重要作用。然而,该方法的实验结果仍然低于本书提出的方法。这是由于该方法利用人工定义的句型规则判断特征观点对的情感极性,其制定的规则相对比较简单,无法涵盖所有可能存在的评论句型,并且不一定适用于口语化严重、语法不规范的中文产品评论。
(4)在三类产品的测试语料上,特征观点对的总体情感分类准确率几乎都比较接近于负面情感分类的准确率。这说明整体分类效果受负面情感分类的影响较大。这可能是因为在负面语料中,用户对负面观点的表达方式比较多样,由此产生较多的负面特征观点对,从而影响总体情感分类的效果。
(5)在三类产品的测试语料上,本书提出的方法与两个基线方法的情感极性分类准确率变化都不显著。其中本书提出的方法的变化幅度最小,并且取得了高于90%的情感极性分类准确率,说明其具有良好的稳定性,以及在不同产品之间的可移植性。
免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。