潘鸣威

1.引言

随着语言学家对意义生成符号研究的不断进步，多模态话语分析(multimodal discourse analysis)已经成为研究话语文本以外意义生成的新方法和新途径。Halliday(1978，1985)，Chafe(1994)，Halliday＆Matthiessen(2004)等学者认为谈话时的手势、面部表情等也都是生成意义的符号模态。尤其是随着多媒体技术和语料库的迅速发展，对自然话语进行多模态研究已经成为可能。因此，传统的研究人员采取的只分析语言或以语言为核心的单模态分析法已不能全面地解释意义的生成。本文主要聚焦并分析学习者小组讨论时在非言语模态，特别是手势方面的表现，以及非言语模态与言语模态之间的交互，以期对英语口语教学过程中言语以外的策略培养提出一些建议和看法。

2.文献回顾

2.1多模态研究

透过多模态视角研究非言语模态的特征首先需要明确三个根本性的概念。“多模态”指的是多种符号系统即模态相结合的交际产物或交际过程(Stöckl，2004)。而为什么话语分析要引入多模态的概念，其原因就在于人们已经认识到话语的意义中的一大部分是由非语言因素体现的。在这种情况下，交际不再是利用一种感官进行，如说话是听觉，书写是视觉等，而是用两种或者多种感官同时进行。以这种交际方式产生的话语就是“多模态话语”(张德禄，2009)。而“多模态话语分析”则是把所有交际模态看成是意义生成资源来进行研究的一种语篇分析视角(Jew itt，2006)。该视角认为意义是由多种模态来实现的，所有的模态都通过社会使用变成了符号资源。因此，所有的语篇都是多模态的(Kress＆van Leeuwen，2001;Levine＆Scollon，2004)。从我国针对学习者英语口语输出的研究(如何安平和徐曼菲，2003;卫乃兴，2004;文秋芳等，2003;张文忠，2000;周爱洁，2002等)来分析，绝大多数研究固然透彻而敏锐地发掘了学习者口语中所存在的问题，但其研究载体仍是基于转写的话语文本，一定程度上忽视了学习者在口语产出中言语以外的模态。因此，这种仅基于转写文本的研究途径已经无法全面地研究交际能力，且这种单模态研究话语的方法“可能是一个方向性的错误”(朱永生，2007:85)。

再者，从我国以多模态视角为切入点所进行的研究(如陈瑞娟，2008;陈瑜敏和黄国文，2009;胡壮麟和董佳，2006;龙宇飞和赵璞，2009;韦琴红，2009;朱永生，2008等)来看，将多模态的优势体现在了接收意义时渠道的多元化，一定意义上没有关注学习者本身在产出意义时多模态视角下的表现。因此，从多模态研究的相关定义以及我国在学习者口语和多模态研究现状出发，有必要借用多模态的视角对学习者的口语输出，特别是非言语模态深入研究。并且，有关这一方面的研究已经在我国初显端倪(如张德禄，2010;张德禄和王璐，2010等)。

2.2非言语交际

在语言学的研究中，非言语交际一直以来是较为受到冷落的领域。这并非是由于研究者没有意识到它的存在和影响，而是技术的限制以及研究视角的缺乏所致。实际上，非言语交际是“人际交流中决定意义传递的主要因素”(Leathers＆Eaves，2008:5)。Harrison(1965:101)很早就发现，“在面对面的交谈中，讲话人65%的信息是通过非言语方式(如声调和手势)加以传播的”。Argyle(1988)研究更是发现非言语交际在传达意义过程中起到的作用是言语线索功能的4.3倍。因此，借助多模态研究的视角可以研究言语以外，特别是非言语中对意义生成有极大促进作用的手势，以此更完整地分析学习者的口语产出质量。

2.3手势

Ekman＆Friesen(1972)对不同的手势从功能上分为四类:象征功能(emblems)、解释功能(illustrators)、情感功能(affect displays)和适应功能(adaptors)。结合学习者在英语口语产出中的实际，本研究主要聚焦以上的象征、解释和适应功能。其中，象征功能是指手势本身所具有的意义，比如人们通过挥手的方式表示告别的意义。解释功能指说话人通过手势加强表达的意义，使其言语的意义更为清晰，如在说明图表时需要借助手势。适应功能指说话人通过下意识的手势反映其焦虑、自信、不舒适等内在心理。

3.研究设计与研究问题

3.1研究设计

本研究通过语料收集，对2—4位学生为单位的小组讨论进行录音录像。在收集数据前，本研究充分考虑了语料的代表性问题，其中包括学习者的英语水平、专业、性别、所属高校等因素。对于学生的水平分组，本研究出于经济和相对可靠的考虑以间接的方式根据是否通过大学英语四、六级考试将学生分为高等(通过六级笔试，以下简称A组)、中等(通过四级笔试但未通过或未参加六级笔试，以下简称B组)、初等(未通过或未参加四级笔试，以下简称C组)三组。在院校选择上，本研究的语料涵盖重点高校及地方院校共7所。此外，本研究主要采用诱导式语料(elicited data)，即让学生围绕规定的话题以小组讨论的方式展开(录音时长约750分钟，每个水平组均50组小组讨论)。为了保证学生在话题讨论中有话可说，本研究在收集语料前不仅预留了充裕的时间供学生准备，而且话题均是学生较为熟悉的内容，涉及校园生活、文化差异等。

在收集完所有语料后，本研究运用多模态标注软件ELAN(3.7.1版本)标注学生的各类手势。通过试标注，本研究发现学习者手势无法从类型上穷尽，因此采用了描述性标注的方法。即先使用英语在软件中的各层上描述性表达标记出学生在不同时间轴上所发生的各类手势，接着通过导出多模态标注文本以频数和时间统计(统计工具为SPSS 16.0)以及语料库驱动的检索方式(检索工具为WordSm ith 5.0)来分析学生各类手势的表现，并结合以上手势功能的分类对其归类，再通过与其言语模态的比对，得出手势与话语内容交互情况下的各种作用。

3.2研究问题

基于以上研究设计，本研究尝试回答以下三个研究问题。(1)学习者在小组讨论中其手势总体上呈现何种特征?(2)不同水平学习者在手势的使用上是否存在差异?呈何种态势分布?(3)学习者的手势与其言语模态之间如何交互?

4.研究发现与讨论

4.1总体特征和组间差异

表1列出了手势在频数上的描述统计量。总体上本研究样本手势的平均频数为10.82次。以样本平均持续时间为5分钟，平均每个样本中有3名学生计算，那么平均每位学生每分钟的手势频数连1次都不到。从这个数字上而言，作为具有表意和交际功能的手势其频数如此之低，初步说明学生不常使用这一非言语模态来帮助自身的表达。从组间的差异来看，A组平均每个样本中手势的频数达到13.89次，居首位，而B组和C组分别为10.58次和7.85次。

表1手势频数在全样本及各水平组的描述统计量

表2手势频数的ANOVA检验

表3手势频数的组间事后检验及相关统计量

*.Themean difference is significant at the 0.05 level.

由于数据检验后呈正态分布，因此对手势频数进行ANOVA分析，发现各水平组之间在手势的频数上存在显著性差异(表2)。通过Tamhane's T2事后检验，进一步发现在手势频数上A组显著地比C组要多(表3)。

接着再统计各样本中手势的持续时间。表4列出了各水平组在手势持续时间上的描述统计量。平均各组手势的持续时间从长到短依次是A、B、C组。这与前面频数的排名一致。从各组手势的时间占小组讨论总时间的比例来看，A组的比例也最高，达到40.45%。换言之，平均而言A组在讨论时几乎有近一半的时间同时也有手势的发生。并且，A组在手势持续时间上的最大值达到了6分48.5秒，而其样本的平均时长则为5分40.8秒。由于计算中手势的持续时间包括所有小组成员的手势，以上极值说明该组有学生完全是边发言，边运用手势，并在时间上基本全覆盖的情况。

表4手势持续时间在各水平组的描述统计量

由于经标准化后时间统计量基本呈正态分布，笔者也进行组间ANOVA检验，发现在持续时间上，各水平组之间存在显著性差异(图5)。通过事后检验可进一步发现，A组在手势持续时间上比C组更长。

表5手势持续时间的ANOVA检验

表6手势持续时间的组间事后检验及相关统计量

*.Themean difference is significant at the 0.05 level.

综合以上研究发现，总体上学生使用手势的频数较低，且A组和C组之间无论是在频数还是在持续时间上均存在显著性差异。然而，笔者还需提取描述性标注的实际内容来分析手势的表现形式。本研究先对描述性标注初步筛查，探索性地提取出与标注有密切联系的关键词:HAND，FINGER，PALM，ARM，FIST及其复数形式。通过检索，具有这些关键词的标注频数占到所有手势标注频数的90.14%，说明这些关键词基本可以涵盖并很大程度上解释手势相关的动作。笔者先将频数最高的关键词HAND(S)作为检索项，提取与之相关的动词。

表7各水平组手势描述动词的比较(一)

表7列出了各水平组中与HAND(S)有关的动词，并对其频数从高到低排列。可以发现，从动词的个数而言，C组仅13个，A组和B组均为16个，这与先前发现C组在手势频数上比他组少基本吻合。从各水平组排在前几位的手势相关动词来看，这些动词基本是MOVING，RAISING，SHAKING和WAVING(表中浅黑色部分)，组间的排名基本一致。

为了弄清各组共有的动词之使用情况及其手势所表达的意义，笔者反过来再检索这些动词，基本可以将此分为两类，即具有表意功能的手势和不具有表意功能的手势，如图1和图2的部分索引行所示。

图1具有表意功能手势的标注文本索引

图2不具有表意功能手势的标注文本索引

如图1所示，在具有表意功能的手势动词中，MOVING的手势搭配往往是指学生通过手的移动来表达自己的观点等;RAISING的手势搭配则是指通过举手的方式来邀请他人继续话轮等;SHAKING的表意往往比较单一，表示学生相互间的握手行为;WAVING的手势搭配并非是挥手表示打招呼或告别，而是摇动的意思，往往表示说话人持某些反对意见。然而，如图2所示，在不具表意功能的手势动词中，这4个动词所搭配的手势往往是学生表示紧张的一些“小动作”(如raising his hand to his hair/head等)。

为了比较表意手势在各组的分布，本研究以HAND(S)为检索项，MOVING，RAISING，SHAKING和WAVING作为语境词进行检索，计算各组中手势的总频数和具有表意功能(如图1所示的例子)的频数。如表8所示，从具有表意功能的手势与总频数之间的比例来看，A组最高(86.11%)，而B组和C组相对较低。这说明在大量的手势表现形式中，B组和C组的手势有约一半不具有意义生成的功能。与前面的研究发现对照，虽然手势频数和持续时间上的显著性差异只在C组与A组间存在，但是就手势(以HAND(S)为检索项，共有动词为语境词)是否具有表意功能而言，B组、C组与A组均具有一定的差异。

表8各水平组间具有表意功能手势的频数及比例比较

然后再来观察A组中较“异常”的手势动词(表7深黑色部分)。通过索引发现，A组和B组的这些“异常”动词与单词本身的意思一致，部分具有表意的功能，而另一部分往往也是表示紧张或是自身习惯上的“小动作”。在此列举具有表意功能的手势(图4)，如pulling her two hands apart to show helplessness(双手打开，有“无助”的表意功能)。当然这些手势中也有部分的“小动作”(图3)，如rubbing his hands and fiddling w ith his fingers(双手摩擦并玩弄手指，表示紧张的情绪)等。因此，尽管A组与B组的手势有很大的比例具有表意功能，但是也有与C组同样的问题，存在无助于意义生成的手势。

图3 B组手势标注中“异常”动词索引行

图4 A组手势标注中“异常”动词索引行(一)

接着再以FINGER，PALM，ARM，FIST及其复数形式做相应检索。表9列出了各水平组手势中除HAND(S)标注以外的其他描述性标注动词及排名。从动词个数上来看，A组的动词仍较丰富。从各水平组排名靠前的共有动词(表中浅色部分)来看，各水平组均使用了MOVING，CROSSING或FIDDLING，经检索发现这些与手指、手掌或臂膀有关的手势往往不具表意功能(图5)。然后再观察A组中出现的“异常”动词(表9深色部分)，发现这些动词却具有较明显的表意交际功能。如图6所示，A组会通过指向(如stretching outone finger to show his idea)等手势来表达意义。这说明A组的手势虽然存在局部不表意的现象，但其手势丰富性与表意性的结合相对较理想。(www.daowen.com)

表9各水平组手势描述动词的比较(二)

图5不具表意功能手势的标注文本索引行(二)

图6 A组手势标注中“异常”动词索引行(二)

接着再考查手势与言语模态间的交互。本研究提取了与手势同时发生的话语内容，对此作3—4词的词块切割，合并意义上的重复项，并剔除无法表达实际意义的词块。

表10各水平组手势与言语模态交互的话语词块切割

如表10所示，各水平组在运用手势的同时，其言语模态的话语内容也存在两点共性。第一，各水平组都有大量与THINK有关的词块(表中浅黑色部分)。这说明学生在使用手势时所表达的意义往往是自己所持有的观点或是向他人询问有关的观点。从手势本身的功能而言，这具有解释作用。第二，各水平组在使用手势时往往伴随着“级”的表达(表中划线部分)。这说明学生在具有强调意义的话语模态内容表达中，特别是表示有关不同级的表达中，会通过一定的手势来帮助意义的传递，其仍属于解释功能。

以上这两种手势的解释功能在模态交互时应该是模态间的强化。换言之，学生对某些在话语模态表意层面的内容用具有强调性的非言语行为加以强化。以下试举一例。如图7，第一说话人(sp_1)在澄清观点后使用比较级的方式为自己的观点说理时运用手势来帮助解释。当言语模态呈现出解释性话语，而手势表现出解释功能时，两个模态之间交互产生了强化作用。

图7模态间的强化交互

本研究也发现在各水平组之间在使用手势过程中话语模态内容有所不同的地方。如表10的斜体部分所示，B组和C组会在that's all的话语内容同时也伴随着手势的出现。研究发现学生在话语刚落之时，通过手势表达自己所要表达的内容终止的含义。这种手势从其功能而言应属适应功能，并且在模态的交互中没有实际帮助意义的生成，起着模态交互偏离的作用。以下试举一例。如图8所示，当学生陈述完观点后，使用“That's all.”的方式来终结其话轮，与此同时其手势却是“putting hands on the thighs”(双手放于大腿上)，表明自己的话语结束了，有种“完成任务”的感觉。因而，当话语内容表示话语终结，而手势却表示了适应功能时，两种模态属偏离交互。

图8模态间的偏离交互

表10还显示，A组在发生手势的同时其话语模态中还有agree w ith you的词块(表中深黑色部分)。经检索发现，A组在表示自己同意他人的观点时，往往还通过手势的方式(如raising the right hand to touch his partner's arm，举起右手触碰同伴的手臂)表示自己的赞同。

至此，本研究从话语内容词块切割中还无法找到具有象征功能的手势。根据文献中的解释，手势的象征功能是指手势本身具有的意义，如挥手表示告别等。本研究试探性地检索了bye/see you这一表示“再见”的话语内容，去发现学生在这类具有意义表达时几乎没有手势发生，这不能不从一个侧面说明学生在使用手势与话语模态之间发生交互时，其强化作用往往只是通过手势中的解释功能来实现的，象征功能的手势极少。

4.2讨论

第一，总体上学生使用各类手势的频数较低，并且手势的总持续时间占整个小组讨论的总时长比例也较低，这些都反映了学生在用英语进行小组讨论过程中较少使用手势的策略，这与刘芹(2010)以及刘芹和潘鸣威(2010)的研究中发现学生在英语交流过程中手势匮乏相吻合。究其原因，本研究认为可以从三个方面来思考。其一，从学生本身出发，学生没有对手势一类的非言语行为的功能得到全面的认识。从手势的功能来分析，这些非言语行为能有助于实现象征、解释、调节和适应的功能。但是从研究发现来看，学生的手势较多属于适应功能，即通过下意识的手势反映出某种焦虑、不自信等内在心理。其二，从语言的输入方式出发，本研究认为由于学生在学习英语，特别是学习英语口语的过程中所接触到的大量信息都是通过单模态的文字或是通过教师的课堂话语来实现的，当单模态的文字给学生提供的只是单一渠道的输入，而教师的课堂话语本身又在手势的表现上存在不理想的因素，那么学生也会相应在自己用英语进行口头表达时忽视手势对意义生成的重要作用。其三，从文化习惯出发，不同文化的民族对手势的使用情况都有所不同，而中国的学生显得比较拘谨。在此研究者并非要求学生在英语口语输出过程中“张牙舞爪”地表现自我，而是要求学生既然在使用英语表达自己的观点，那就需要考虑到文化因素中手势相应的意义生成功能。

第二，从组间差异来分析，A组和C组之间无论是在手势的频数还是持续时间上都存在显著性的差异。从多模态视角来分析，A组对话语管理的策略要比C组更胜一筹。A组随着自身英语学习的加固以及对英语文化知识的增多，会在一定程度上有效地使用一些帮助自身进行表达的手势。而B组的表现接近与C组，说明学生对手势在有助于表达的认识上是具有一定递进性的，他们大体上会随着自身英语学习及附带习得的递增而加强手势的使用。

第三，以上有关手势表现形式的研究发现可以体现学生英语口语在非言语中的两方面特征。其一，手势的丰富性。研究发现中修饰手势的动词检索结果说明，虽然各水平组之间在修饰手势的高频动词上基本吻合，但是A组和B组相对而言手势较为丰富，这与前面分析的话语管理中的策略能力不无关系。当学生已经认识到手势可帮助其在话语表达的策略上起促进作用时，他们就会较多地使用这种行为，并呈现出多样化。然而，仅仅知道这类非言语行为的功能还不够，还需要正确地使用这些功能，即将这些功能用于真正的表意。这就引出了第二个方面的特征，即学生手势的表意性。研究发现中，A组具有表意功能的手势频数要占到该组总手势频数的86.11%，而其他两组均为50%左右，这就说明A组不仅在使用手势上具有丰富性，还具有较强的表意性，而B组虽然有一定的丰富性，但其表意性不强。结合文献中手势的功能，这种表意性体现在象征、解释和调节功能上。而那些不具有表意性的手势则是适应功能。这些具有适应功能的手势的产出和前面的讨论一样，可被认为是学生在小组讨论时所呈现出的紧张情绪。虽然学生明知小组讨论不是一种考试形式，但是还是显露出焦虑和不自在。

第四，从手势与言语模态的交互来看，学生会以手势的比划来强化自我观点的表达，并且起到了一定的解释功能。然而，有些手势本身具有一定的象征意义，比如可以通过手势的比划表示数字，又如可以通过手势的比划表示事物的大小或是空间概念的远近等。但学生却极少在小组讨论中使用这些本身具有象征意义的手势。本研究认为，由于学生的小组讨论事先有准备，所以他们一般的做法还是将自己准备的内容尽快地脱口而出，很少考虑到这些本身具有象征意义的手势不仅可以帮助他们思维的实时活动，并且还可以帮助传递表达的意义和信息。

5.结语

本研究从多模态的视角出发，着重分析了学习者在英语口语产出过程中其非言语模态手势的表现情况。从总体上而言，学习者在小组讨论中手势的使用频率较低，时间较短，对这种具有意义生成或是有助于意义生成的非言语模态在策略上认识不够。不同水平学习者在手势的使用上呈现出一定的差异，高等水平组的学生不仅在手势的频数和时间维度上占优势，并且其手势的丰富性和表意性也比较理想。相反，中、初等水平的学生虽然能够使用手势起到一定的解释功能，并能在模态交互中产生强化的作用，但其手势的丰富性和表意性均存在此消彼长的现象。此外，学生在象征功能手势的使用上均较少。

应该指出，手势作为非言语模态的表现形式之一，其对话语意义的生成有着极为重要的作用。在英语口语的教学中，教师应该注意这一方面策略和意识的培养，不仅需要对学生口语输入的内容上下功夫，而且需要在内容以外的非言语模态方面进一步加强灌输。

参考文献

［1］Argyle，M.1988.Bodily Communication(2nd ed.)［M］.London:Methuen.

［2］Chafe，W.1994.Discourse，Consciousness and Time［M］.Chicago:University of Chicago Press.

［3］Ekman，P.＆Friesen，W.V.1972.Hand movements［J］.Journal of Communication，22:353-374.

［4］Halliday，M.A.K.1978.Language as Social Semiotic:The Social Interpretation of Language and Meaning［M］.London:Edward Arnold.

［5］Halliday，M.A.K.1985.An Introduction to Functional Grammar［M］.London:Arnold.

［6］Halliday，M.A.K.＆Matthiessen，C.M.I.M.2004.An Introduction to Functional Grammar(3rd ed.)［M］.London:Edward Arnold.

［7］Harrison，R.1965.Nonverbal Communication:Exploration into Time，Space，Action and Object［M］.Florence，KY:Wadsworth Publishing Co.，Inc.

［8］Jew itt，C.2006.Technology，Literacy and Learning:A Multimodal Approach［M］.London and New York:Routledge.

［9］Kress，G.＆van Leeuwen，T.2001.Multimodal Discourse:The Modes and Media of Contemporary Communication［M］.London:Arnold.

［10］Leathers，D.G.＆Eaves，H.M.2008.Successful Nonverbal Communication:Principles and Applications(4th ed.)［M］.Pearson Education，Inc.

［11］Levine，P.＆Scollon，R.(eds.).2004.Discourse and Technology:Multimodal Discourse Analysis［C］.Washington，D.C.:Georgetown University Press.

［12］Stöckl，H.2004.In between modes:Language and image in printed media［A］.In E.Ventola，C.Charles＆M.Kaltenbacher(eds.).Perspectives on Multimodality［C］.Amsterdam:John Benjamins，9-30.

［13］陈瑞娟.2008.也谈英语教学的多模态课件开发［J］.福建教育学院学报(1):75-77.

［14］陈瑜敏、黄国文.2009.话语多声互动的多模态构建方式解析——以语言教材话语为例［J］.外语电化教学(6):35-41.

［15］何安平、徐曼菲.2003.中国大学生英语口语SmallWords的研究［J］.外语教学与研究(6):446-452.

［16］胡壮麟、董佳.2006.意义的多模态构建——对一次PPT演示竞赛的语篇分析［J］.外语电化教学(3):3-12.

［17］刘芹.2010.中国大学生英语口语分析性评估体系的构建与效验［M］.上海:复旦大学出版社.

［18］刘芹、潘鸣威.2010.多模态环境下中国大学生英语口语非言语交际能力研究初探［J］.外语电化教学(2):38-43.

［19］龙宇飞、赵璞.2009.大学英语听力教学中元认知策略与多模态交互研究［J］.外语电化教学(4):58-74.

［20］卫乃兴.2004.中国学习者英语口语语料库初始研究［J］.现代外语(2):140-149.

［21］韦琴红.2009.多模态化与大学生多元识读能力研究［J］.外语电化教学(2):28-32.

［22］文秋芳等.2003.中国大学生英语书面语中的口语化倾向——高水平英语学习者语料对比分析［J］.外语教学与研究(4):268-274.

［23］张德禄.2009.多模态话语分析综合理论框架探索［J］.中国外语(1):24-30.

［24］张德禄.2010.多模态外语教学的设计与模态调用初探［J］.中国外语(3):48-53，75.

［25］张德禄、王璐.2010.多模态话语模态的协同及在外语教学中的体现［J］.外语学刊(2):97-102.

［26］张文忠.2000.第二语言口语流利性发展的定性研究［J］.现代外语(3):273-283.

［27］周爱洁.2002.论4/3/2活动对提高英语口语流利性和准确性的影响［J］.外语教学(9):78-83.

［28］朱永生.2007.多模态话语分析的理论基础与研究方法［J］.外语学刊(5):82-86.

［29］朱永生.2008.多元读写能力研究及其对我国教学改革的启示［J］.外语研究(4):10-14.