理论教育 脑内剪辑:解密叙事生成的神经学

脑内剪辑:解密叙事生成的神经学

时间:2023-10-08 理论教育 版权反馈
【摘要】:它们的复杂程度不同,但都属于认知神经学中的“注意”范畴。这就是大脑在对注意目标实行自上而下的主动搜寻。当观众发现瘸腿小狗是主角后,会重新审视整部作品,接下来的跨屏观看就进入了脑内剪辑与建构叙事。《雀村往东》包含屏内与屏间两套叙事结构。

脑内剪辑:解密叙事生成的神经学

《雀村往东》提供的不是完成片,而是导演拍摄的众多素材,观众只有在现场完成脑内剪辑,才能看到“一部电影”。这既是电影通过剪辑建立叙事的过程,也是大脑接收信息、创建意义的过程。它让观影和创作合二为一,真正让观众成为创作者(剪辑师/导演)。若要完成脑内剪辑,观众需要不断进行跨屏观看——眼睛在不同屏幕间跳跃,把选取到的信息编织成一幅“意义之网”。在《雀村往东》里,触发跨屏的动因包括信号与叙事两个层面。它们的复杂程度不同,但都属于认知神经学中的“注意”范畴。注意通常分为两大类:有意注意和反射性注意。有意注意是一种来自内源刺激的主动关注,是大脑“自上而下”受“目标驱动的影响”;反射性注意则是一种来自外源刺激的被动关注,是大脑“自下而上”受“刺激驱动的影响”[32]。在观看《雀村往东》时,大部分观众都会经历信号层面的跨屏体验。眼睛先随机选择一块屏幕,如果是缺乏叙事的单调场景,不断重复的内容很快会令人乏味,眼睛就会转向其他屏幕,寻找更新鲜的内容。这就是大脑在对注意目标实行自上而下的主动搜寻。而当人1突然响起高亢的唢呐声,大部分观众会丢下正在观看的屏幕,转向人1。这就是典型的被动关注,因受到外界刺激发生的注意力转移,也是“吸引力电影”不断通过制造奇观保持观众兴趣的基本方法。这两种注意力转移只是获取信息,不涉及复杂的意义建构。

但影像信息包括视觉和听觉两个感知系统,在视觉注意与听觉注意之间又存在交叉影响关系。眼睛每次只能盯住一块屏幕,但六块屏幕的声音连续不断地同时播放,六个声源并无明显的强弱区分,始终浑融在同一空间中,形成一个匀质的物理声场。但所谓的“匀质”仅在物理声学意义上存在,当观众仔细观看一块屏幕时,对应的声源就会从声场中脱离出来,成为超越其他声源的声音,配合眼睛所看的图像,形成声画匹配的影像,而其他屏幕的声音则在感觉上沉降为背景声。这就是认知心理学中经典的“鸡尾酒效应”。它是指在喧闹嘈杂的鸡尾酒会上,人们能自动屏蔽掉周围的无关声音,听清自己感兴趣的对话。这也是电影混音中经常使用的方法,当主人公处在吵闹的环境中,观众本应无法听清人物的对话,但混音师会通过提高对白音量来制造它与周围环境声的层次区分,创造有深度的声场。这就是以观众为听点,制造“鸡尾酒效应”。

当观众发现瘸腿小狗是主角后,会重新审视整部作品,接下来的跨屏观看就进入了脑内剪辑与建构叙事。六块屏幕的内容如同六个机位采集的影像素材,观众可以像专业剪辑师那样,在观看现场选取素材,提炼情节逻辑,最终生成自己的“导演剪辑版”电影。《雀村往东》包含屏内与屏间两套叙事结构。屏内叙事,即在部分单个屏幕内已然包含了相对完整的情节,如人1讲述了一个病人从弥留之际到出殡的过程,人2讲述了一位老农夫收留瘸腿小狗,以及他和妻子的日常生活。屏间叙事,即由观众在屏幕间拼接组合后形成的故事,可衍生出多种个性化版本。若以人2中的小狗被收留为情节主线,就可与其他屏幕中流浪、搏斗、抢食等情景,组合出多种叙事。比如,这可能是一只小狗在野外经历各种磨难,中途险些丧命于某户人家,最终被好心农夫收留的温馨故事;也可能是一只曾被农夫收养的小狗,一心想去野外流浪冒险,最后暴尸荒野的悲惨故事;还可能是一只小狗曾被主人抛弃,被野狗排挤,虽被好心农夫短暂收留,但终不忘复仇雪恨,直至在砖窑烈火中与群狗同归于尽的壮烈故事……类似的情节组合可以不断发散衍生,形成各种类型化叙事。剪辑在这里主要用于“连缀”镜头,构成连贯的意义。建构类型化叙事虽然调动了大脑自上而下的主动认知机制,但创造出来的仍是一种反射性注意。它通过不断制造戏剧化情节来吸引观众,而观众也调用存储在记忆中的各种类型模板,不断回应或调整对下一步情节发展的预判。因此,观众虽然能自主跨屏建立各种故事版本,但这种主动性是有限的,它受到类型模式的控制和引导。

考察人工智能编剧算法原理,可以更深刻地理解类型模式的重要性。人工智能编剧基于循环神经网络(Recurrent Neural Network,简称RNN)原理的长短期记忆神经网络(Long Short-Term Memory,简称LSTM)算法来创造叙事。RNN的基本原理是,信息输入一个神经元后,该神经元不仅进行输出,同时将这一输出作为下一个时间点的神经元输入信息,这就使得下一个时间点的神经元不仅接收到外界传入的信息,而且还仿佛“记得”之前的信息,并使两种信息共同参与后续的认知判断。例如,前一刻神经元接收到“火”的信息,下一刻神经元接收到“房间”的信息,那么综合两者,RNN可能会初步判断出“房间着火”这一事件,但接下来如果又继续接收到“锅”“煤气灶”“女人”“铁铲”等信息,就会调整判断得出“女人在炒菜”的结论。LSTM则在RNN的基础上加入了遗忘门(forget gate)单层神经网络,用以判断长时间传递过程中各种信息的重要程度。它会将上一单元传递来的信息进行权重判断,将不重要的信息过滤掉,决定是否要与新的信息一起向下传递或部分传递。在上面的例子中,如果“女人在炒菜”只是一个长篇故事中的细枝末节,那么在概述整个故事时,它可能会被过滤掉。在《雀村往东》中,当观众要跨屏建立一条类型化叙事线索时,大脑实际的运作过程就与LSTM相似。例如首先在一块屏幕上看到瘸腿小狗在野外闲逛,又在另一块屏幕上看到它和群狗打架,这时可能会初步产生“小狗被欺负”的判断,然后不同观众会调用记忆中存储的不同类型模式,指导后续的信息选择。又如有人倾向于拯救主题,主观注意会更容易被农夫收养小狗的情节吸引,即便很早就接收到这一信息,它也会被安置在故事结尾,而把残酷啃噬尸体、农民田野劳作等素材提前插入,交代小狗的悲惨经历和农夫的辛劳生活,铺垫最后人与狗相遇的温情结局。其他不符合拯救模式的素材,就会被当作无关信息舍弃。(www.daowen.com)

但仅有遗忘门来判断前序信息的权重是不够的,在建构类型叙事的过程中,储存在大脑中的类型模式具有关键作用,它不仅决定后续输入信息的选取,更会重塑甚至篡改对新信息的读解。例如上面的例子中,从人3上并不能看清田野劳作中的农民是不是收养小狗的农夫,但当拯救模式确定后,大脑就会倾向于将他们理解为同一人,用以形成意义关联。为什么类型模式具有这样的引导功能?这源于大脑追求意义稳定性的本能,它使大脑不会因连续涌入的海量信息而陷入崩溃。所谓“有意义”就是指信息达到了某种稳定状态,成为可被把握和理解的对象。“球洞神经网络模型”将其比喻为“网络达到一个最低能量‘洞’,网络的状态就像球一样最终将掉入这个‘洞’。网络的这种低能量态可以通过纯粹地求解权重方程来创造。”[33]动态网络中,稳定状态也被称为“吸引子”,“输入图像的片段将陷入表征整个图像的吸引子,这是一个模拟人类识别记忆的重要属性”[34]。也就是说,类型模式一旦确定,就如同在地上布好了洞,输入的信息会被引导入洞,以符合具有稳定状态的意义。人工智能编剧软件尚未创造出令人满意的叙事,原因可能就出在,机器虽然学习了大量同类型电影,但创建叙事时的信息权重判断不能仅交给遗忘门,还应该把既定的类型模式提炼为数学表达式,让它成为整个系统自上而下且贯穿始终的权重判断因素。每个新信息的加入,都不仅要与前序信息比对权重,还需要经过类型模式函数的加权。

既然大脑追求秩序感和稳定意义,那么非类型化叙事中被故意切断或打乱的情节线,以及暧昧不明、歧义丛生的表达,又为何会令人着迷?这是因为不同的主体记忆触发了非类型化叙事中最自由的意义生成。在类型化叙事中,类型模式决定了意义权重,观众的自主性是被规约且有限的,他们看似在建构个性化故事,但其实是按照既定框架寻找适合的素材,补足意义链。非类型化叙事中没有模式权重,而依靠激发观众的个人记忆来创造作品中没有的“视觉表象”(visual imagery)。视觉表象是认知心理学中的经典概念,属于一种心理表象(mental imagery),指在“没有外界的视觉信号输入,我们也能在头脑中产生心理表象去使用它们”[35]。我们听到“狗”这个词,眼前无须真的看见一只狗,脑海中也能浮现出狗的样子,甚至无须任何提示,仅凭记忆也能唤起脑海中的各种形象。这些虚在形象就是视觉表象,它的强度通常与视觉皮层的兴奋性呈负相关。这意味着,给予更少的直接视觉信息,反而更有利于激发视觉表象的出现。如果说观众在类型化叙事中发挥的剪辑功能主要是“辑”,那么在非类型化叙事中则重在“剪”。通过切断叙事,隐藏信息,制造适当的信息缺省,留出意义空隙,使记忆有机会被释放,用以调动负责整合高级信息的额叶皮层的兴奋度,这正是激发视觉表象的物质条件。侯孝贤的“冰山叙事”“气韵剪辑法”得以奏效,就是依赖这种脑机制。陈凯歌的《百花深处》也是利用这一点,让观众和搬运工一起跟随冯先生的描述,想象他的记忆空间,在空无一物的废墟上演绎荒诞而悲情的“假搬家”。

免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

我要反馈