点击上方蓝字关注我们

多模态语篇分析的基本问题探讨

 冯德正, 香港理工大学英文系, 研究方向:多模态语篇分析, 语言教学。

冯德正

摘    要：作为一个新的研究领域, 多模态语篇分析仍然面临诸多挑战。一方面, 多模态研究在传统语言学领域的地位仍然受到质疑;另一方面, 多模态研究的理论与方法仍处于初级阶段, 有很多局限, 同时, 有些学者对该领域的认识存在一些误区。因此, 本文拟对多模态研究的基本问题进行系统梳理, 简要回答为什么要研究多模态语篇, 语言学理论是否适用于分析图像、手势等非语言符号, 多模态的研究范畴是什么, 有哪些理论与方法、局限与误区等问题。本文进一步提出研究者需要有跨学科意识、实证意识与应用意识, 立足于理论与方法创新, 着眼于解决多媒体时代传播与交际中的实际问题。正确把握这些基本问题对将多模态语篇分析发展成为一个具有强大理论支撑与严谨方法保障的新兴学科具有重要意义。

关键词：多模态语篇分析; 基本问题; 理论视角; 研究方法; 

文献来源：冯德正.多模态语篇分析的基本问题探讨[J].北京第二外国语学院学报,2017,39(03):1-11+132.

引言

20世纪90年代以来, 功能语言学与语篇分析的多模态转向使多模态语篇分析成为语言学与传播学研究的热点之一。在国内, 自李战子 (2003) 发表介绍Kress&van Leeuwen (1996) 的《阅读图像:视觉设计的语法》以来, 多模态研究迅速发展。以“多模态语篇分析”为关键词搜索中国期刊全文数据库, 结果如下:2006—2010年相关文章数量为61篇, 2011—2015年为492篇。我们首先简单定义模态与多模态语篇分析。Kress (2010:79) 将模态定义为“在社会文化中形成的创造意义的符号资源”, 认为“任何模态 (如图像、手势、音乐) 都是完整的表意系统, 跟语言一样具有形式层 (expression plane) 、词汇语法层 (lexicogrammar) 和语篇语义层 (discourse semantics) 。”O’Halloran (2011) 、Forceville (2009) 、Gu (2006) 等则将符号模态称为符号资源, 而将模态定义为听觉、视觉、触觉等感官模态。多模态语篇分析是指将语言与非语言符号纳入统一分析范畴的一个研究领域, 其出发点是将图片、手势、表情、声音特征等非语言符号视为跟语言一样的表意资源。

我国学者从系统功能视觉语法、多模态隐喻、多模态语料库、多元读写等视角对广告语篇、新闻报道、电视电影、课堂教学、自然会话等多模态语篇形式进行了广泛而深入的探讨。然而, 作为一个新的研究领域, 多模态语篇分析仍然面临诸多挑战。首先, 多模态语篇分析在传统语言学领域中的地位仍然受到质疑。有些语言学者, 甚至语篇分析学者认为, 语言学者应该只关注语言, 而不应该研究非语言符号。其次, 有些初学者对多模态语篇分析的理论和方法的认识存在误区。例如, 有的研究将视觉语法当成万能的准则, 生搬硬套到视觉图像分析中, 导致分析错误。鉴于以上两点, 笔者认为有必要对多模态研究的基本问题进行系统梳理, 一则帮助语言学者了解这一领域存在的理据与价值, 二则帮助多模态研究者把握正确的分析方法。

01

为什么要研究多模态语篇

许多语言学者质疑, 我们是语言学者, 为什么要研究图像、手势等非语言符号?多模态研究属于语言学范畴吗?是不是“不务正业”?是否会削弱语言的地位?下面笔者将从语言研究的内容和人类交际方式的变化两方面阐释多模态语篇分析的必要性。除此之外, 还可以从语篇发生与个体发生的角度论述非语言符号的重要地位, 即人类与婴儿最初的交际方式都是非语言的。

首先, 语言学研究关注的不仅是语言本体, 而且是人类的交际行为、社会关系建构、心理与认知等。可以说, 除词汇学、句法学等语言本体研究之外, 语言学研究的绝大部分领域都不只是关注语言, 如社会语言学、语用学、心理语言学、语篇分析等。就我们所关注的语篇分析而言, 研究者一方面关注基于语言的意义建构与交际策略, 另一方面关注语言所体现的社会关系、意识形态等 (Fairclough, 1995) 。如果要全面理解意义与社会关系的建构, 只关注语言是不够的, 因为在大多数交际环境和交际媒介中, 语言不是唯一的, 甚至不是主要的表意资源。例如, 同样一句话“你真坏”, 搭配不同的表情、动作、语调等特征, 可以表达截然不同的意义。在课堂语篇分析中, 如果对某位教师的教学进行评价, 只分析教师话语显然是片面的。教师的表情、手势、位置、板书等对学习体验和教学效果具有至关重要的作用 (Lim, 2010) 。在以视觉图像为主的广告语篇中, 如果只分析语言, 我们就无法对广告的劝说策略得出令人信服的结论 (Cook, 2001;Forceville, 1996;Vestergaard&Schorder, 1985) 。正如Jewitt (2009:1) 所指出的, 语言与其它模态的结合是常态, 而不是例外。因此, 将语言人为地提取出来孤立地进行分析很难看到意义建构与人类交际的全貌。

其次, 随着科学技术, 尤其是数字技术的发展, 人类生活与交际模式发生了深刻变化。单一的语言交际逐渐被由语言、图像、声音等构成的复杂交际模式所取代。以广告传播为例, 它从古埃及的简单的口语宣传, 发展为印刷术发明后单一的书面语言广告, 然后到带插图的平面媒体, 最后发展为集语言、图像、声音为一体的电视广告 (Beasley&Danesi, 2005) 。交际媒介的多样化与数字化使“语篇”这一概念变得更加复杂。在这种情况下, 单凭语言分析已无法全面理解意义的构建, 对“非语言”交际符号的分析显得十分必要 (冯德正, 2010) 。不仅如此, 多媒体技术的应用改变了语言的结构与组织方式。由于屏幕 (如电脑、电视、投影、手机) 逐渐取代了书本, 以视觉逻辑为主的语言组织 (如PPT中的要点) 逐渐取代了以线性逻辑为基础的语言书写与阅读模式。例如, 平面广告中我们很少看到整段的文字, 文本是以视觉空间的位置、大小、颜色等组织的, 没有语篇衔接手段, 形成一种新的语类结构 (Cheong, 2004) 。因此, 只关注语言而忽视其它模态对语言结构的影响, 会阻碍对语言新特征的全面理解。

综上所述, 语篇研究关注的是人类的交际行为, 而交际行为本身是多模态的。同时, 科学技术的发展使交际的媒介越来越多模态化, 哲学研究也从语言转向过渡到视觉转向 (Mitchell, 1994) 。在此背景下, 研究语言之外的交际符号不仅是全面理解人类交际行为的要求, 而且能够帮助我们更好地理解语言的本质与结构。

02

语言学的理论适用于分析图像、手势等非语言符号吗？

多模态语篇分析使用的主要是语言学的理论与分析方法, 尤其是系统功能理论 (Halliday, 1994) 和概念隐喻理论 (Lakoff&Johnson, 1980) 。因此, 有学者质疑:为什么要用语言学的理论研究非语言符号?适用吗?就系统功能理论而言, 很多学者认为不能将语言学理论应用于非语言模态, 因为图像、手势、电影等没有传统意义的词汇与语法。对此, Bateman&Schmidt (2012) 提出: (1) 非语言符号没有语言的词汇语法, 但有同样的语篇语义系统, 因此多模态分析应采用语篇语义理论, 而非词汇语法结构理论; (2) 根据Halliday (1978) 的社会符号学理论, 语言与非语言符号都不能被视为一成不变的语义编码, 而是在一定语境下建构意义的资源。因此, Kress&van Leeuwen (1996) 的视觉“语法”只是对图像表意资源的系统描述, 而非硬性的规则。这一问题的明确为使用语言学理论进行多模态分析与进一步建立多模态理论体系提供了有效的方法。就认知隐喻理论而言, 图像隐喻与多模态隐喻研究为探讨隐喻的本质与应用提供了新的视角。自Lakoff&Johnson (1980) 提出概念隐喻理论以来, 研究者虽然承认隐喻是认知现象, 而非简单的语言修辞, 但大多数研究只是考察语言隐喻。图像隐喻与多模态隐喻的提出弥补了这一缺陷 (Forceville, 2009:19) 。因此, 一方面, 概念隐喻理论为多模态语篇分析提供了有力的分析工具;另一方面, 多模态语篇也为进一步完善、发展概念隐喻理论提供了新的语料形式。

我们可以将语言学理论的适用问题概括为以下三点: (1) 语言是一种极其复杂的符号系统, 而现代语言学理论经过近百年的发展已经具备了精细的分析模式, 只要使用得当, 可以为分析非语言符号提供有力的理论工具; (2) 只有关注语义的语言学理论才适用于多模态语篇分析, 而关注语言形式的理论并不适用, 因为非语言符号与语言具有同样的语义系统, 却有截然不同的底层符号形式; (3) 复杂的多模态语篇为验证语言学理论的适用性与阐释力提供了不同的符号形式并使其能够进一步发展、完善。

03

多模态语篇分析的范畴与方法是什么？

本节中笔者将讨论多模态语篇分析的核心问题:研究什么与怎么研究。下文分别介绍多模态语篇分析的理论视角、研究对象与研究方法。理论视角包括描述与阐释多模态语篇的各种理论工具。多模态语篇描述的主要语言学理论基础是系统功能理论和概念隐喻理论。系统功能视角的研究包括模态表意机制研究与模态关系研究。一方面, 以系统功能语法 (Halliday, 1994) 为基础, 研究者为描述视觉图像 (Kress&van Leeuwen, 1996;O’Toole, 1994) 、数学符号 (O’Halloran, 2005) 、手势 (Martinec, 2000) 、音乐 (van Leeuwen, 1999) 、电影 (Bateman&Schmidt, 2012;Feng, 2012) 等符号建立了语法语义系统;另一方面, 研究者为阐释不同模态, 尤其是图像与文字之间的复杂关系提出了不同的理论框架 (如Liu&O’Halloran, 2009;Martinec&Salway, 2005) 。认知视角的多模态隐喻理论的发展是近年来多模态研究的重要成果。El Refaie (2003) 通过发表在多模态研究权威期刊Visual Communication上的“Understanding Visual Metaphor”一文, 首先将视觉隐喻这一概念从传媒艺术领域引入多模态语篇分析。2009年出版的《多模态隐喻》 (Forceville&UriosAparisi, 2009) 一书收录了多模态隐喻研究的最新成果, 标志着多模态隐喻理论的正式形成 (冯德正等, 2014) 。近年来社会功能与认知隐喻视角的多模态研究都在各自的理论框架内取得了重要进展。但是, 它们之间真正的对话与融合尚未引起研究者的重视, 这也是多模态语篇分析今后的发展方向。另外, 语用学与文体学等传统的语言学理论也开始被应用于多模态语篇分析, 具有很大的发展空间。除了借助语言学理论描述多模态语篇, 研究者也经常借助传播学、心理学、教育学、社会学等理论阐释不同语篇特征形成的原因。需要指出的是, 多模态语篇通常具有复杂的表意机制并涉及不同的学科领域, 因此, 需要从不同角度进行描述与阐释 (如冯德正, 2011;冯德正、亓玉杰, 2014) 。

就研究对象而言, 自20世纪90年代中期Kress&van Leeuwen (1996) 和Forceville (1996) 分别将系统功能理论和概念隐喻理论应用于图像分析以来, 多模态研究的对象已经几乎囊括了人类所有交际媒介和符号形式, 例如三维空间 (Stenglin, 2011;Ventola, 2011) 、副语言特征 (Hood, 2011;Knight, 2011) 、图画书与漫画 (Feng&O’Halloran, 2012;Painter et al., 2013) 、课堂教学 (Lim, 2011;Liu&Owyong, 2011;陈瑜敏, 2010;张德禄, 2010) 、电影 (Bateman&Schmidt, 2012;Feng, 2012;Tseng, 2013) 、网络媒体 (Lemke, 2002;Djonov, 2005;Zhang&O’Halloran, 2012) 、舞台表演 (陈松菁, 2016) 等。未来的多模态研究可以分析具有重要社会意义的语篇形式, 如中国形象、社会主义价值观的多模态建构、新媒体教学 (如慕课、微课) 、公益广告 (如反腐败、普法教育、环境保护) 等。

就研究方法而言, 系统功能和概念隐喻视角的多模态研究目前以理论建构与基于少量语料的定性分析为主。理论建构通常是提出一个分析框架, 然后选取几个典型例子证明理论的可操作性, 语料起辅助作用。定性分析中语料的地位比理论建构略为重要, 旨在通过细致深入的文本分析发现其语篇特征。但由于是个案分析, 语料的代表性与分析结论的普适性受到局限。相比之下, 基于某类语料的定量分析在一定程度上解决了普适性问题, 可视为准实证研究。如果对大量语料进行标注加工, 使用语料库的方法进行统计分析, 则可以彻底解决普适性问题。但迄今为止, 大型的通用多模态语料库非常少。顾曰国 (2006) 建立了包括活动话语语料库、幼儿成人语料库、网上良师语料库在内的大型多模态即席话语语料库。Baldry&Thibault (2008) 建立了基于XML的在线多模态检索器Multimodal Corpus Authoring (MCA) , 可以实现对多模态数据的搜索、注解、定量分析等功能。但是, 对多模态语篇的标注费时耗力, 很难建立像语言一样的大型语料库。因此, 多模态语料库一般是首先有明确的研究目的再去确定标注什么 (即建立专门用途语料库) , 以免浪费大量时间。除了上述分析多模态语篇的方法, 研究者也可以对语篇的创造和接受进行研究, 对分析结论进行三方验证。从语篇创造的角度, 我们可以借助人种学方法对语篇创造过程进行观察/录像, 或者对创作者进行访谈/问卷调查。从语篇接受的角度, 我们可以借助心理学的方法进行行为实验 (如反应时间实验、眼动实验) , 或者借助更直接的脑电实验与核磁共振考察受众对多模态语篇的认知与理解。

以上我们讨论了多模态语篇分析的理论视角、研究对象与研究方法, 如表1所示。经过近20年的发展, 一方面, 跨学科的多模态研究理论体系逐步完善并被应用于阐释各种复杂的多模态语篇;另一方面, 以科学技术为基础的多模态语料库、行为实验等实证研究逐步兴起。但是, 少数前沿研究不代表多模态语篇分析的主流现状, 很多研究仍然具有局限性。我们将在下一节详细论述。

04

多模态语篇分析的局限与误区？

如第三节所述, 多模态语篇分析作为一个新兴学科, 在理论与方法上有诸多局限。最突出的问题是大部分研究还处于理论探索与建构阶段, 缺乏基于大量真实语料的实证分析与三方验证。Bateman (2014) 指出, 在学科发展的初级阶段, 提出基于经验的假设与理论框架并有目的的选择合适的语料例示是必要的, 但随着学科的成熟, 我们需要用真实语篇去验证这些理论是否成立, 是否具有普适性。在理论得到验证以前, 他们只是“实用假设” (working hypothesis) , 而非万能的准则。因此, 很多学者认为对Kress&van Leeuwen提出的模式应该“采取保留态度, 谨慎使用” (Rahm, 2006:196) 。Kress&van Leeuwen (1998:218) 在分析报纸版面设计时早就指出, “我们的问题是分析理据的缺失, 比如, 我们如何知道左侧代表已知信息而右侧代表新信息”。一方面, 可靠的结论要基于对大量语料的系统描述 (Bateman, 2014) ;另一方面, 多模态语篇的意义可以通过问卷调查、眼动实验、脑成像等实证研究方法得到验证 (如Holsanova, 2012) 。

由此局限性导致的第一个分析误区是将视觉语法当成万能的准则死板套用, 以致出现错误的、甚至违背常识的分析。例如, 将所有的高角拍摄解读为读者具有更高的地位, 将所有左侧信息解读为已知信息等。第二个误区是研究者将多模态语篇与语境、认知割裂开来, 只是对文本的细节进行生硬描述, 导致为了分析而分析, 而不知道为什么分析、分析有什么价值。因此, 多模态研究不仅要从微观上对非语言符号提供详细的描述, 更要从宏观上通过语篇分析系统阐释社会文化现象, 解决社会问题 (Jewitt, 2009:26) 。第三个误区是许多研究者不去研读所分析模态 (如电影、漫画) 的主流文献, 只是把其它领域众所周知的现象用语言学术语包装起来, 导致分析肤浅。因此, 除了语言学与符号学知识, 研究者需要对他们所分析的模态有深入的了解, 使多模态分析基于该模态所属学科的理论并对其有所贡献 (Forceville, 2007) 。第四个误区是一些学者认为多模态研究就是研究非语言符号, 尤其是视觉图像, 而忽视语言的作用。这种观点与只关注语言同样片面。多模态语篇分析是将所有符号资源一视同仁, 考察它们在意义建构中所起的作用。

5.结语

笔者在文本中回答了多模态语篇分析的基本问题, 以期读者能够对该领域存在的理据、研究内容、研究方法、局限性等有一个初步了解。多模态语篇分析是语言学研究发展到一定阶段的必然产物, 也是应对科技发展与人类交际方式变化的必然要求。然而, 作为一个年轻的学科, 多模态研究仍然受到很多质疑。一方面, 一些语言学者认为多模态研究不属于语言学范围;另一方面, 电影、广告、漫画等领域的学者认为语篇分析只是用晦涩的语言学术语包装显而易见的信息, 对这些学科并无新的贡献。因此, 多模态语篇分析不仅要证明其对语言学研究的价值, 也要对相关模态所属领域的研究有所贡献。这就要求多模态研究者在理论与方法上不断创新, 吸收不同学科的营养, 解决其它学科不能解决的问题。具体而言, 多模态研究者首先要有学科融合意识, 构建跨学科的理论体系;其次要有实证意识, 开展基于大量真实语料的系统分析并进行包括受众视角的三方验证;第三要有应用意识, 考察具有重要社会意义的语篇形式并将文本分析与社会文化分析紧密结合。

本期推荐 Introducing Multimodality ，本书回顾了多模态的20年的理论和研究，概述了在一个迅速发展的学术领域的历史和现状。我们的重点是三个不同的传统，其中采取了多种形式：系统功能语言学，社会符号学和逆向分析。本书概述了每个概念和方法的历史、关键概念和方法；指出了开创性的研究和批评；并反思了它们的协同作用和差异。我们还确定了这些重点方法通过与其他研究传统的融合或结合而转化的方式。在整本书中，我们用各种不同的研究中的例子来说明概念和方法，反映了现在已经从多模的角度探索的领域的广度。这本书是为任何对语言、交流和意义感兴趣的人而写的，包括应用语言学和社会语言学的本科生和研究生。

本书在国内的京东、亚马逊都无法购得，如果对本书感兴趣，有意购买，请联系公众号孙老师（微信：sflsy0803)，可优惠价格得纸质书。

网络科学新闻的多模态语篇研究——共时和历时视角

作者：张艺琼博士

多模态警示语的整体意义建构

作者：张丽萍博士

多模态语篇的连贯构建研究——以中国英语学习广告为例

作者：孟艳丽博士

编者按

参考文献略，欢迎查阅《北京第二外国语学院学报》2017年第3期纸质原文。

本文编辑：上海理工大学 孙雨

本文审核：吉林大学  王峰

公众号外联：我们优先推广免费的学术会议、讲座、研修等项目。收费项目与商务合作需支持劳务费，请联系dianzishu@126.com 商谈。

继续为各位提供有益的学术资讯

长按二维码赞赏语言学通讯

推荐阅读

八万学者关注了

○

语言学通讯

○

科研助力|学术观点|专著推荐|期刊动态|教师研修|招贤纳士|博士招生|读书小札

请留下你指尖的温度

让太阳拥抱你

记得这是一个有情怀的公众号

                                                                             点“在看”给我一朵小黄花