刘　芹　潘鸣威

1.引言

非言语交际(non-verbal communication)在人们的日常交流中扮演着十分重要的角色。诸多语言学家和教学评估专家(如Morlan＆Tuttle，1976;Canale，1983;Canale＆Swain，1980;Nunn，2000;Taylor，2006)纷纷指出，非言语交际是交际能力中不可或缺的一部分。对非言语交际的研究在国外已经有数十年的历史了，但在我国还未有效开展起来。本文作者选取一部分中国大学生作为研究对象，制定量化指标综合考量其在英语口语输出中的非言语交际特征，以期对我国的高校英语口语教学和评估提供有价值的反馈信息。

2.研究背景

2.1非言语交际

从狭义的角度来定义，非言语交际指的是“有别于言语的行为”，主要指“面部表情，手势，姿态以及身体各部分的移动”;从较为传统的广义定义而言，它还包括“与发音音系有关的元素”，如语调等(Mehrabian，2007:1)。长久以来，非言语交际的研究侧重于本族语使用者在交谈中所运用的各种言语之外的交流。Harrison(1965:101)研究发现，“在面对面交谈中，讲话人65%的信息是通过非言语方式(如声调和手势)加以传播的”。Mehrabian＆Susan(1967)研究发现，说话人在表达意思时，言语、声调以及面部表情对表达的贡献率分别为7%、38%和55%。Argyle(1970)研究发现非言语交际在传达意义过程中起到的作用是言语线索功能的4.3倍。他同时提出非言语交际可用于建立良好的人际关系，使说话人的言语更为礼貌。Argyle(1988)进一步阐述，非言语交际有五个主要功能:表达情感、表达人际态度、伴随言语用以简化交流、展现说话者个性、习俗功能。

但是这些研究主要局限在本族语范畴，对外语学习者在实际外语输出过程中所运用的非言语行为关注不多。从我国现有的各类英语口语测试的评分量表上不难看出，绝大多数量表都针对发音、语法、内容、流利程度等言语因素加以考查，而对交流环节的一大重要因素，即非言语交际较为忽视。如针对大学生的大学英语四、六级口试和英语专业四、八级口试的评分重点分别为“语言准确性和范围、话语的长短和连贯性、语言灵活性和适切性”和“语音语调、语法与词汇、有条理、灵活自如”(参见全国大学英语四、六级考试委员会，1999:4和高校英语专业四级/八级口试大纲编写小组，2005:4-5)。诚然，这一忽视的重要原因是非言语交际的内容很难定性定量。而且，如果需要评分员在较短的口语考试中还要综合考虑一项新的维度，这本身也给可操作性带来了较大的挑战。但是，中国大学生缺乏非言语交际能力的事实不容忽视。如刘芹对2004至2006年采集的180位通过大学英语六级和英语专业四级笔试学生的口语小组讨论样本的分析显示，一半左右的受试缺乏非言语交际能力。“他们在发表自己意见时声调平淡、没有起伏;与他人讨论中没有直接目光接触，面部表情呆板，不会用手势或手势不灵活。”(刘芹，2008:88)我们认为，既然“非言语交际”是口语交际能力的一个重要维度，有必要以国际上先进理论为基础，制定量化指标，对其进行深入的分析研究。

2.2多模态话语分析

多模态话语分析(multimodal discourse analysis)在上个世纪末的兴起使研究者可以在非言语交际上进行定性和定量的判断和分析，使言语与手势、面部表情与语音识别、面部表情与语音综合等多种模态的互补研究成为多模态话语分析研究的一大发展趋势。国内众多学者(如李战子，2003;胡壮麟，2007;朱永生，2007等)认为源于系统功能语言学理论的多模态话语分析可以有效弥补原先单模态话语分析的不足。他们指出多模态话语分析除了研究语言系统和语义结构本身，还应包含语言以外的其他符号系统。随着计算机技术和语料库的发展，对口语材料进行多模态研究已经成为可能。张德禄(2009:24-30)探索了多模态话语分析的综合理论框架，指出话语意义中的一大部分是由非语言因素体现的，“如伴语言特征:音响度、声调、语调、音速等，身体特征:手势、身势、面部表情、动作、移动等，非身体特征:PPT、音响设备、网络、实验室、周围的环境因素等”。结合中国大学生英语口语实际输出的特点，我们认为伴语言特征和身体特征(即通常意义上的体势语)是应该研究的焦点。

国际上现已有较为成熟的多模态语料库，如SACODEYL语料库。建库者采用微型教学语料库的方法(small pedagogic corpus approach)，将欧洲不同国籍13至18岁青年人的话语访谈进行转写，并且增加非言语交际的标注内容，对课堂教学与学生课外自主学习起到了一定的促进作用。但是在我国，这方面的研究和建库还不多。王立非和文艳(2008)的探索性研究对中国英语教师课堂言语(classroom discourse)和英语为本族语者演讲话语进行了多模态分析，以此指出教师借助音韵手段实施课堂教学以及英语为本族语者的演讲风格。但是，这些为数不多的研究也没有对学习者的口语输出做系统研究。由于口语语料的转写和标注一直以来是极其消耗各种资源的工作，因此多模态的研究现在仍基本停留在库量较小，与话语分析相结合的半定量、半定性的水平上。本论文即在建立中型多模态口语语料库的实验前期，对我国大学生英语口语非言语交际能力进行的初探性研究结果。

3.研究问题

我们试图回答以下三个研究问题:(1)非言语交际可以通过哪些指标来量化?(2)这些非言语交际量化指标的可信度如何?(3)中国大学生英语口语输出的非言语交际有何特征?

4.研究设计

我们进行了如下三个阶段的研究，分别回答以上三个研究问题。

首先，结合国内外口语能力评估的理论与实证研究结果，制定中国大学生分析性英语口语评分指标，并运用Likert五级量表在学生和教师中展开问卷调查。共发出在校生问卷300份、教师问卷130份、应届毕业生问卷330份，分别回收有效问卷272份、127份和301份;回收率均超过90%。根据问卷调查结果整理出分析性英语口语评估体系，并从中提炼出本研究需要考查的非言语交际标注指标。

然后，从上海某高校通过大学英语六级笔试的学生中抽样选取23名进行口试。以2至3位学生为一组，每组抽取一道讨论题，在准备5分钟后展开10分钟左右的小组讨论。准备时组员之间不能互相交流，讨论时不能看准备材料。将讨论内容全程录像后按照问卷调查所得出的评估体系进行评分。为保证评分信度，我们采取双重打分制(double-rating)。由于评分员内信度(0.94)和评分员间信度(0.86)均达到理论要求，我们取两位评分员的平均分作为学生成绩。并将这些成绩与下阶段标注指标的统计结果作相关分析，以验证标注指标的可信度。

最后，对讨论录像内容进行转写和标注，包括文本的转写以及在多模态环境下(本研究运用ELAN标注工具，可在http://www.latmpi.eu/tools/elan免费下载，软件界面见图1)按照非言语交际的各项指标进行标注。并对标注完成的语料进行统计分析，得出中国大学生英语口语的非言语交际特征。

图1 ELAN软件标注界面

5.研究结果与讨论

5.1非言语交际的量化指标

中国大学生英语口语分析性评估体系从语言能力(language competence)和策略能力(strategic competence)两方面评价口语能力。语言能力评估两个特质:组织知识(organizational know ledge)和语用知识(pragmatic know ledge)。组织知识分为语法知识(grammatical know ledge)和语篇知识(textual know ledge)。语法知识考查音素特征(phonemic features);音素变体特征(allophonemic features);和句法(syntax)。语篇知识考查衔接(cohesion)和组织(organization)。语用知识分为功能知识(functional know ledge)和社会语言知识(sociolinguistic know ledge)。前者考查受试的言外语用能力(illocutionary competence)，后者考查受试对语域(register)、自然性(naturalness)和语体(genre)的掌握程度。策略能力分三个方面:目标制定(goal setting)、能力估量(appraising)和计划实施(planning)。目标制定考查受试判断并选择所需语言任务的能力;能力估量考查受试正确估量自身语言水平并顺利加以展示的能力;计划实施考查受试在具体语言展示中，是否能合理运用话轮协商(turntaking and negotiation)、体势语(body language)和副语言(paralanguage)帮助自己表达意思。

我们以该评估体系和张德禄(2009)所提出的多模态话语分析理论框架为基础，结合中国大学生英语口语输出的实际情况，提炼出了一套中国大学生英语口语非言语能力标注体系(图2)。该体系主要分为伴语言和体势语两个层面。伴语言层面标注句子声调(包括升调，降调，平调，升降调和降升调五小类)。体势语层面标注的内容主要与身体各部分的活动有关，包括目光交流、手势(有效，即帮助说话人表达;无效，即无助于表达，如双手摩擦，单手饶头等)、表情、头部活动(点头，摇头)以及表述自然性(为实际操作方便，标注“不自然性”，可见下一节讨论)。

图2英语口语非言语交际能力标注体系

5.2非言语交际标注指标的可信度

为了验证本研究所提出的非言语交际标注指标的可信度，我们将口语评估体系中对体势语和副语言的评分与标注指标所得的数据进行相关分析。表1和表2分别显示体势语层面和伴语言层面非言语交际标注指标与上述两项评分指标之间的相关性。(由于声调中降升调频数为零，相关性统计中未对此分析。)

表1体势语标注指标与评分指标相关性

＊＊Correlation is significant at the 0.01 level(2-tailed).

表2非言语交际标注指标与评分指标相关性

续表

＊＊Correlation is significant at the 0.01 level(2-tailed).

从表1可以看出，评分指标中体势语的打分与目光交流、有效手势、表情丰富等体势语标注指标都存在明显的正相关(相关系数分别达到0.899，0.931和0.906)。但是，从表2所反映的数据来观察，评分指标中对于副语言的打分只与伴语言层面的升调和升降调显著存在正相关。

表3显示非言语交际标注指标与评估体系中总分的相关性。

表3非言语交际标注指标与总分相关性

表3显示，不同的标注指标与总分的相关性存在较大差异。但是总体而言，与总分高度相关的指标反映有助于学生进行口头表达的方面。

5.3非言语交际的特征

为了进一步分析本研究中受试英语口语非言语交际中所存在的问题，我们对已经标注的非言语特征的各个统计量进行了描述性统计分析(见表4)。

表4非言语交际标注指标描述性统计分析

5.3.1句子声调

表4反映受试的声调大多停留在升调、降调和平调，并且以升调居多;但升降调的平均数较低，降升调则为零。(www.daowen.com)

通过对语料内容的分析，我们发现学生输出的句子以升调居多的主要原因是他们较倾向于用问句来维持对话的继续，或者通过问句将话轮转换给同伴。另外，无论是一般疑问句(应该使用升调)，还是特殊疑问句(应该使用降调)，学生都采用升调的办法来处理。升降调使用不够(underuse)的原因之一是由于展示型内容的平行结构较少。英语交流中反义疑问句(tag question)大多需要使用降升调。但是我们在本研究所收集到的语料中没有发现一次反义疑问句的使用，致使降升调的频数为零。相关研究也发现在英语本族语者中，这种声调本身也不多见(如Brazil，1997;Cheng，2006)。所以本研究反映的情况也属正常。

5.3.2目光交流

对于目光交流，我们在标注过程中定义了四种情况，即与同伴交流、与考官交流、与摄像机交流、无效目光交流(包括无任何目光交流)。如表4所示，受试的目光交流每10分钟平均只发生6.13次，而且大多在说话人本身持有话轮时发生。换言之，如果不是自己在讲话，他们倾向于没有与同伴之间的有效目光交流，或者是进行对交际无效的目光交流(如看天花板)。

分析这一现象不难发现，由于学生是处在考试的环境下，紧张因素致使他们要快速完成自己话轮内的内容。因此，他们在很大程度上并没有将自己的口头交流认为是信息的交流，而是完成任务即可，所以也很少将平时的眼神交流纳入到这种紧张的考试环境中来。He＆Dai(2006)在对大学英语口试小组讨论部分的信度分析中，也指出学生往往将口语考试视为是一项任务，而非真正意义上的口头交流。我们在研究中还发现有些学生会不经意地与考官做眼神上的交流。在后期访谈中，学生指出他们认为真正的听众是考官，而非小组同伴，因此目光有时会落到考官身上，希望得到考官的认可。这一点也印证了上述研究得出的结论。

通过语料在多模态环境下的标注，我们可以对学生进行目光交流时所说的话语内容进行分析，从而发现某些目光交流类型与话语内容的相关性。以下两个例子可以对此情况作进一步阐明。

例1:

A:But do you think，en…to，taking a part job is en…is good or not?

B:I think it's a good idea.You know in the summer holiday，we w ill en do a lot of things，em…maybe，take the party or en buys a lot of things，so we need themoney.Yes，when we in the summer holidays，we always go to shopping so we need.

C:［eye_contact_exam iner］But I think taking en…a part job maybe waste a lot of time，and you have no much time en to spend on your study.

例1中，学生C在学生B还未结束话语时面向考官主动提出了不同意见。显然，这名学生认为听众是考官，应该把自己的不同意见告诉考官，而非与其同伴进行讨论。

例2:

A:I en…en…I didn't pay more attention to other football games，only to football，er…other sports，only to football games.

B:So what do you like to do in Japan?

C:［eye_contact_none］Yesterday，en…en…Isaw a，passen，Isaw，Isaw，pa paragraph，Isaw a paragraph on the internet.The people，the w riter was a Chinese，and his girlfriend was Japanese，and he went to Japan.

例2中，学生C在其话轮开始时无任何与同伴的目光交流，并且根据录像反应，其眼睛往窗外张望。可以看出，学生C直到同伴发出提问性话语要求她接应话轮时才开始说话。但是该学生并没有看着同伴，却心不在焉地回答，导致基本上答非所问。

5.3.3其他指标

我们把手势、表情、头部活动和表述自然性综合为“其他指标”进行讨论。表4显示，学生每10分钟发生的有效手势只有2.83次。换言之，学生基本上没有什么手势交流。在多模态的环境下，我们可以对不同的手势通过语言的解释进行标注。在本研究中我们发现，学生对交流有效的手势大部分是挥手，有时表示不认同，有时由于对方说话人的误解需要自我更正或澄清。而更多的是无效的手势，如用手饶头，用手蹭脸，双手摩擦等。这些无效的手势都说明学生在运用非母语进行交流中体现出的紧张情绪。

在头部活动上，学生较多地使用点头(每10分钟2.17次)，而过少地使用摇头(每10分钟0.09次)。通过对语料的分析可以发现，学生点头的同时还伴随着“yes”，“uh-huh”等表示同意的言语。但是，学生在表示自己不同意而摇头的过程中，偶尔还会伴随微笑;或者只是摇头，没有像前面点头那样还发出类似“no”一样表示反对的言语;这可能出于中国人说话礼貌的原因。

由于表述自然性的标注很难操作，我们采取标注表述不自然的方法来反映该项指标。因为“不自然”这一概念本身比较模糊，我们结合英语口语输出中学生存在类似“背书”的情况，认定发生一次背书的现象，就记录发生一次不自然。从表4来看，学生的“背书”现象在一次对话中发生接近3次。不少学生由于事先做好了准备，在讨论中不是以一种商量询问的口吻来参与交流，而是如同演讲一般把自己的想法说了一遍。因此，这种表述很难做到自然。

如何定性学生的面部表情是否丰富也较为困难。因此我们在标注中对于发生的面部表情都进行了描述性的标注，再进行总体的频数统计。从表4来看，学生一次对话中平均只有3次不到的面部表情。从具体内容上看，学生的面部表情主要是“微笑”，偶尔有扬起眉毛(表示不理解)等表情，但并不丰富。

6.结语

本研究探索性地提出六项可对中国大学生英语口语的非言语交际进行量化分析的指标，分别为句子声调、目光交流、手势、表情、头部活动和表述自然性，每一指标以具体参数加以体现。这些指标与学习者的口语输出质量总体上存在正相关。其中句子升调和表情丰富与口语输出质量的相关系数达到0.9以上;目光交流、有效手势和点头频数与口语输出质量的相关系数达到0.85以上。我国大学生在非言语交际上的问题具体表现在倾向于使用升调作为唯一的句子声调，使言语显得单调;在谈话中与同伴的目光交流偏少，有些存在着一直看考官和其他地方的问题;手势、头部活动和面部表情等辅助表达方式较少，而且形式单一、缺乏自然性。

本研究揭示了我国大学生在非言语交际上存在的问题，亟待在教学和评估中引起重视。在口语课堂教学上，教师应利用本族语人的音频、视频资料向学生展示如何运用非言语特征丰富口头交际，并指导学生加以模仿。在口语评估上，无论是教师的个人评估还是大范围的口语考试，都可以加入非言语交际的评估指标。这样，教师可以敦促学生在课堂学习和课外自主学习中真正对这些因素引起重视，提高这些方面的能力，使自己的口语输出更自然、更丰富。

当然，本文只是一个探索性的研究，提出的非言语交际标注指标还只在初级阶段，需要大量的后续研究进行验证、完善。作者将在构建中国大学生多模态英语口语语料库的过程中使之成熟起来，并在大样本的基础上对学习者的口语输出作更为全面深入的分析研究。

参考文献

［1］Argyle，M.，Salter，V.＆Nicholson，H.1970.The communicationof inferior and superior attitudes by verbal and non-verbal signals［J］.British Journal of Social and Clinical Psychology，9:22-231.

［2］Argyle，M.1988.Bodily Communication(2nd ed.)［M］.Boston:International Universities Press.

［3］Brazil，D.1997.The Communicative Value of Intonation in English［M］.Cambridge:Cambridge University Press.

［4］Canale，M.1983.On some dimensions of language proficiency［A］.In J.Oller(ed.).Issues in Language Testing Research［C］.Row ley，Mass:Newbury House，333-342.

［5］Canale，M.＆Swain，M.1980.Theoretical bases of communicative approaches to second language teaching and testing［J］.Applied Linguistics，1:1-47.

［6］Cheng，W.，Greaves，C.＆Warren，M.2006.The creation of a prosodically transcribed intercultural corpus:The Hong Kong Corpus of Spoken English(prosodic)［J］.ICAME Journal，29:5-26.

［7］Harrison，R.1965.Nonverbal Communication:Exploration into Time，Space，Action，and Object［M］.Florence，KY:Wadsworth Publishing Co.，Inc.

［8］He，L.Z.＆Dai，Y.2006.A corpus-based investigation into the validity of CET-SET group discussion［J］.Language Testing，23:370-401.

［9］Mehrabian，A.2007.Nonverbal Communication［M］.Edison，NY:Transaction Publishers.

［10］Mehrabian，A.＆Susan R.F.1967.Inference of attitudes from nonverbal communication in two channels［J］.Journal of Consulting Psychology，3:248-252.

［11］Morlan，D.＆Tuttle，G.1976.An Introduction to Effective Oral Communication［M］.Indianapolis，Indiana:The Bobbs-Merrill Company，Inc.

［12］Nunn，R.2000.Designing rating scales for small-group interaction［J］.ELT Journal，54:169-178.

［13］Taylor，L.2006.The changing landscape of English:Implications for language assessment［J］.ELT Journal，60:51-60.

［14］高校英语专业四级口试大纲编写小组.2005.高校英语专业四级口试大纲［M］.上海:上海外语教育出版社.

［15］胡壮麟.2007.社会符号学研究中的多模态化［J］.语言教学与研究(1):1-10.

［16］李战子.2003.多模式话语的社会符号学分析［J］.外语研究(5):1-8.

［17］刘芹.2008.中国大学生英语口语水平研究［J］.现代外语(1):83-89.

［18］全国大学英语四、六级考试委员会.1999.大学英语四、六级考试口语考试大纲及样题［M］.上海:上海外语教育出版社.

［19］王立非、文艳.2008应用语言学研究的多模态分析方法［J］.外语电化教学(5):8-12.

［20］张德禄.2009.多模态话语分析综合理论框架探索［J］.中国外语(1):24-30.

［21］朱永生.2007.多模态话语分析的理论基础与研究方法［J］.外语学刊(5):82-86.