心理空间和概念整合理论在解决多模态场景中指称歧义方面的应用

开篇：润墨网以专业的文秘视角，为您筛选了一篇心理空间和概念整合理论在解决多模态场景中指称歧义方面的应用范文，如需获取更多写作素材，在线客服老师一对一协助。欢迎您的阅读与分享！

摘要：在解决多模态场景中的指称歧义问题时，以文本为基础的传统理论难以较好地满足需要。影视节目作为图像、声音和动画效果的结合体，是多模态的典型表现形式之一。因此，本文试图以一类特殊的影视题材“戏中戏”为代表，探索如何应用属于认知范畴的心理空间和概念整合理论来解决多模态场景中指称歧义问题，这对网络信息时代大量涌现的视频语料教学有一定的指导意义。

关键词：多模态；指称歧义；戏中戏；心理空间和概念整合理论

中图分类号：H319.3 文献标识码：B 文章编号：1001—5795（2012）04—0070—0005

1 研究背景

随着数码技术、多媒体语料库和网络技术的发展，图文和声音共同作用的交际方式通过不同的交际媒体正在蓬勃兴起并冲击着我们传统的教学理念、思维方式和欣赏习惯，“多模态”一词应运而生，并引起教育界的关注。所谓“多模态”（multimodality）也称“多符号”（multi—semiotic），主要通过分析包括语言、图像、声音、身体语言、空间布置以及其他可以用来表达意义的各种符号资源来构建意义，进而达到交际的作用。顾日国（2007：3—12）用更为简单的语言介绍了多模态的概念，即人类同时应用三个或三个以上的感官方式实现和外部环境的交流互动。作为一个新的研究领域，多模态的研究已经突破了传统语言学以语言或者单纯文本为核心的单模态分析法的局限，是针对信息数字化时代大量涌现的视频介入性语篇分析的新视角（胥国红等，2009：3—7）。

多模态最早由Group（1996：60—92）提出并开始引起国内外许多学者的关注，如Kress et al.（2001）从Halliday的社会符号学出发，对照系统功能语法中的三大纯理功能理论，把语言的社会符号特性扩展到融合图像、声音、动作等多种模态的交际手段上，建立了对图像进行多模态语篇分析的理论框架。Gu（2006：127—167）提出了“多模态文本”的概念。“多模态文本”是指装载多模态活动的、经过数字化后计算机可以处理的含音频的视频流，一个“多模态文本”就是一段关于某项多模态活动的含音频的视频流。对“多模态文本”进行分析就构成“多模态文本分析”。我国还有一些学者如李战子（2003：1—8）、朱永生（2007：82—86）、王红阳（2007：31—34）、顾日国（2007：3—12）等也对多模态的交际方式和多模态文本分析模式进行了探讨。但从文献看，目前多模态语篇分析（尤其是对艺术文本的探讨）并不多。仅找到的几篇文章如Van Leeuwen（1999）分析了音乐和声音，Martinec（1998：161—180）对动作和画面进行了研究，缺乏针对多模态文本层多模态文本层面上对多种交互方式的整合研究。有些学者尝试对多模态的艺术文本进行语用和认知分析，如Rohrer（2005：1686—1716）对小说的研究，Brofie（2008：2027—061）对幽默的研究在多模态的艺术文本分析上具有开创性意义，但也缺乏对多种交互方式的整合研究。电影作为一种人们喜闻乐见的艺术形式，集中了语言、音乐、图像、动画等多种表现形式，除了和小说一样能生动形象地表现人类的生活方式，又能通过观众多个感官的同时作用准确再现人们的交流场景，使观众有身临其境的感觉，因而电影是一种典型的多模态表现形式。本文将借助概念整合理论，把关注点落在一种特殊的电影形式上，即人们所说的“戏中有戏”，如：《红磨坊》（Moulin Rouge）、《莎翁情史》（Shakespeare in Love）、《如果·爱》（Perhaps Love）。现实生活中的演员在电影中饰演不同的角色，电影中的这些角色往往又在排练一部新戏，因此在一部电影中同时进行两个故事，而两个故事的情节又相互穿插。这类电影有两个非常显著的特征：第一，演员不断进行角色切换。为了阐述清楚，本文分别采用“戏外角色”和“戏内角色”。“戏外角色”指现实生活中的演员在电影中所饰演的角色，“戏内角色”指电影角色在所排练的戏中担任的角色；第二，戏里戏外故事经常切换，互相穿插，而且两个故事的情节也极为相似。

这类电影的一个颇为有趣的现象很值得我们注意。指代“戏内角色”的指称词往往被有意识地和“戏外角色”相联系，而且有时候“戏外角色”的名字会直接出现在内戏的彩排中，如在电影《如果·爱》中，戏外角色“孙纳”（或者“老孙”）有时候会指称戏内角色“小雨”。这种交错的指称现象在这类电影中十分常见，如果应用传统的以文本为基础的指称理论去解释又往往会产生歧义。然而此类电影在现实生活中却为人们喜闻乐见，可见此类电影中的指称歧义并未影响观众的理解，甚至在某种程度上还增加了影片的趣味性。本文将着力探讨观众是如何正确理解这类电影文本中的指称歧义现象。

2 关于多模态中指称歧义的研究

在语用领域，对于基于书面语以及转写之后的文本的指称歧义研究胜枚举，例如：Grice（1989；22—40，4l一57）提出指称的指派（reference assignment）和解歧（disambiguation）理论；蒋严（2002：18—29）、Pafikh（2001）、Asher et al.（2003）、Van Rooy（2003）等对于形式语用学与显义学说关系的研究。但语言学的真正研究对象应该是实际使用中的话语（Saussure，1916：6；Chafe，1994：15—21），而且近年来，随着多媒体技术、语料库研究、言语工程研究方面的迅猛发展，从技术上和方法上使得自然话语的研究，特别是语言的多模态研究成为可能。所谓的多模态的研究方法是指将语言和在其实际发生过程中与其相关的资源整合起来的一种方法（Gibbon，et al.，2000）。

关于多模态中的指称歧义现象已经有部分学者在某一领域内做过研究。Gardner et al.（2000：1807—1831）对德国和澳大利亚的广告海报从指称、图像和文本三个方面进行了对比研究。他们将指称词分为内指代（endophofic reference）、外指代（exophofic refer—ence）和同类指代（homophoric reference）三种形式，分别涵盖了文本内指代、瞬间语境内指代和社会文化大语境的指代范畴。他们指出内指代和外指代的划分界限非常模糊，并且列举出数个实例说明一个指称词可以同时作为内指称词和外指称词存在于广告海报中。研究表明一个指称词可以同时发挥多个指称词的作用，他们将这种现象命名为“多重指代”（multiple refer—ence）。

Tea and Lee（2004：1609—1633）指出Gardner et al.仅仅将这种指称歧义的现象命名为“多重指代”是远远不能解决问题的。他们强调指称歧义的多层次性，认为指称歧义问题的解决有赖于对认知领域的考虑，因而引入了Fauconnier et al_（2002：133—187）的心理空间和概念整合理论框架（mental spaces and conceptu—al blending networks）（简称MSCB）对一款角色扮演类电脑游戏（computer role—playing game）（简称CRPG）中的“我”（me）和“你”（you）进行了指称歧义分析。他们认为，MSCB不仅能够使游戏者更好地沉浸于游戏中，增加游戏的真实性，更为解决代词的指称歧义问题提供了新的视角。

3 心理空间和概念整合理论（MSCB）

心理空间和概念整合理论上都属于认知的范畴，它是和类比（analogy）、递归（recursion）、心智模型（mental modeling）、概念分类（conceptual categoriza—tion）和框架效应（framing effect）相并列的研究人们思维过程的积极动态的认知理论。这种理论能够循环往复工作，人们可以通过它得到某一层次上的独立的概念单元，这一独立单元在下一轮概念整合中作为输入成分和其他成分发生关系，进而又产生新的独立单元（Fauconnier et al.，1998：133—187）。

因为概念整合理论关注意义结构的动态模式，所以它被人们广泛应用于分析变化的心理过程（Sinha，2005：1537—1554）。它是可以同时被应用于多种层次的理论，可以将心理空间和其他领域相联系从而达到同指（eo—referenee）、借喻（metonymy）和隐喻（meta—phor）的目的。因此，除了单纯的文本语言，它也能够被用于解释多模态领域中的指称和推理现象（Fau—eonnier，1997；Fauconnier et al.，1998，2002）。Roher（2005：37）还将这一理论用于解释人们在进行艺术创作或欣赏时的大脑运行过程。他认为人们在进行艺术创作或者欣赏时，大脑内会自动出现一个所谓的“艺术一现实的整合空间”（art—life blended spaee），使其在无意识的情况下就能编制并分析故事情节，见图1。

Tea and Lee（2004）的研究向我们展示了一种对指示词的既有力又有效的话语分析模式。他们应用概念混合理论将玩电脑游戏的人和在电脑游戏中所扮演的角色整合在一个以电脑为界面的角色扮演游戏平台上，从而巧妙地解决了“多重指代”的问题。基于他们的理论框架，本文将进一步分析概念整合理论对解决多模态中指称歧义问题的有效性。

4 应用分析

此类电影多出现于歌舞剧中，如前面提到的《红磨坊》。本部分以电影音乐剧《如果·爱》为例，运用MSCB对这一类电影形式进行分析。

《如果·爱》是一个戏外角色和戏内角色相互穿插的关于三角恋的故事。三位戏外角色：男演员林见东、女演员孙纳和电影导演聂文。十年前，出身贫苦但志存高远的孙纳遇见了不得志的导演系学生林见东并相爱。为了生存和成功，孙纳不择手段，终于成为金牌导演聂文的女友，也成为人人羡慕的大明星。她努力忘记过去，否定岁月痕迹。而林见东却依然深爱并苦苦寻找着孙纳。十年后，三人要同演一出戏，分别饰演三个戏内角色：张阳（由林见东饰演）、小雨（由孙纳饰演）、马戏团的班主，即所拍戏的导演，同时也是小雨的男朋友（由聂文饰演）。戏内戏外人物关系和命运都惊人的相似，且穿行，让人难分真假。

电影观众虽然不断经历场景变换，需要弄清戏内戏外人物关系，但却并不疲惫，反而因为情节的穿插而更集中精力。我们可以推断，在观众的头脑里面存在如Roher（2005：37）提出的“艺术一现实整合空间”。按照人物关系和情节，如图2所示，“外戏”被视作为“现实”空间，“内戏”则被视为“艺术”空间，两个空间在观众头脑中自然结合出现了“戏中有戏”的“艺术—现实”整合空间，也正是因为这一整合空间的存在，“戏中戏”才能成为人们喜闻乐见的艺术形式。

在这一“艺术—现实整合空间”的基础上，对于电影脚本中的指称歧义现象就不再难于理解。如下面一段聂文和孙纳的对话：

（1）聂：班主就是这种男人，

所以最后还是打了小雨一巴掌

这样释放了她也释放了自己

要知道恨一个人，要比他恨的人更痛苦

所以与其说班主打小雨是为了恨她

倒不如说他是不想自己恨她

打了这巴掌，他们两个就扯平了

（2）聂：剧本讨论完毕！

（3）孙：什么时候讨论我们的事？

（4）聂：我说讨论完毕！

注：（1）中不同标记的指称词分别属于不同的整合框架

节选部分已接近电影尾声。句（1）是聂文对孙纳讲解剧本内容，在讲述的同时，电影画面中班主扇了小雨一巴掌后独自离开。脚本和画面都清楚地展示了班主在内戏中对于与小雨关系的决定；句（3）孙纳要求讨论“我们的事”即孙纳与聂文关系，但句（4）中聂文坚持谈话已经结束。因为有图2“艺术一现实整合空间”的存在，我们可以断定句（1）中聂文对班主和小雨的故事描述也是他对于他和孙纳结局的表白。因此，句（1）中的指称词“她”/“小雨”同时指代了外戏的“孙纳”；句（1）中的“班主”/“自己”/“他”也同时指代了“聂文”。换句话说，在句（1）中，外戏与内戏在人物指称上分别发生整合，即通过一个指称词指代两个人物，将内戏和外戏融成一体，观众可以藉此推断出聂文与孙纳故事的结局。如图3（句（1）中“她”/“小雨”的艺术一现实整合空间）和图4（句（1）中“班主”/“自己”/“他”的艺术一现实整合空间）所示：

5 结语

随着信息技术的发展，图文和声音共同作用的多模态交际方式和教学手段正在冲击着人们传统的教育模式、思维方式和欣赏习惯。电影作为图像、声音和动画效果的结合体，是多模态的典型表现形式之一。研究电影中的指称歧义问题无疑会对信息数字化时代大量涌现的视频教学有一定的指导意义。

“戏中戏”电影形式可以说是一种被人为增加了理解难度的艺术表现形式，观看这类电影的感觉极为奇妙，甚至可以说这种感觉本身就是一次无法言喻的审美体验，这也在一定程度上说明了为什么“戏中戏”模式深受广大观众喜爱。文章着眼于此类电影的特点，尝试应用MSCB理论框架解决“戏中戏”的指称歧义问题。在MSCB过程中，认知策略、社会角色和社会关系都可以通过参与者的社会交际互动，即一种多模态的表现方式来确定。此外，本文还展示了一种不同于传统理论的对于“戏中戏”的运行机制的理解过程。这一过程既包括电影制作人的创作过程，又包括观众的欣赏过程，可以说两个过程互相满足，互为补充，缺一不可。以上分析可见MSCB作为一种话语分析工具在解决多模态指称歧义问题时的有效性。