欢迎关注我们，一站式分享海量语言学术资源

敬请星标应用语言学研习，喜欢请点赞，分享请转发⭐

《62讲》是一套汉语语法课堂教学系列课，内容对接《国际中文教育中文水平等级标准》，分为三个级别，通过讲师真人讲解、PPT课件支持的形式，借鉴北语课堂教学模式，真实还原课堂语法教学过程，将语法点按照“引入、讲解、操练、活动”的环节讲解出来。本系列课程总计62讲，每讲2—21分钟不等，总时长约510分钟。视频画质高清，北语一线汉语教师录制，专业录音棚录音，专业团队剪辑制作。

本课程内每个语法点的讲解均包括1段微课视频、1份教学课件和1份教案。微课视频可辅助教师完成课前设计、课上活动及课后辅导，同时是“翻转课堂”的好帮手。可编辑的教学课件（PowerPoint）可方便教师根据教学实际进行二次加工，实现教学创新；可编辑的教案（Word）为教师提供视频中教学环节的精准时间点，可帮助教师更详细了解和掌握教学内容和步骤，快速体验“北语模式”。

《62讲》与《国际中文教育中文水平等级标准》（以下简称“《标准》”）的附录A（规范性）语法等级大纲（以下简称“语法大纲”）深度对标。内容覆盖初等（一至三级）以及中等（四、五级）中更具实用性和针对性的79个语法点，涵盖语法等级大纲的9大类（词类、句子的类型、句子成分、提问的方法、动作的态、强调的方法、特殊表达法、固定格式、口语格式）语法项目。这些内容几乎可以涵盖初级汉语语法教学中的基础内容。

《62讲》可供教师、学生、科研人员使用，各取所需。

① 新手教师了解初级阶段语言点的基本教学步骤；

② 课前指导学生翻转课堂学习视频内容；

③ 课中对赠送PPT进行二次加工（或直接使用）进行教学；

④ 课后指导学生用视频进行知识点复习。

① 本专业本科生、研究生的学研范本；

② “国际中文教师证书”考试（面试）的备考资料；

③ 海外教师志愿者的师资培训材料。

① 北语模式教学方法分析与再探索；

② 真实课堂教师话语分析。

本课程15位讲师均来自北京语言大学汉语学院初级综合教研室。团队成员曾获北京市高等教育教学成果奖一等奖，北京青年教师教学基本功比赛一等奖、最佳演示奖、最佳教案奖、最受学生欢迎奖、最佳论文奖，北京市第一届北京高校教师教学创新大赛三等奖，主持及参与国家及省部级课题十余项。强大的作者团队为教学质量保驾护航！

《62讲》产品支持单独购买，同时支持打包购买。

（包含62讲实况微课视频、62份可二次加工的教学课件、62份可编辑的教案）。（*购买本品可开发票）

——  实力助学助教，你值得拥有

——  联系我们   ——

实体书店：

       梧桐书坊（北语书店）

网上订购：

大宗订购：

◑ 服务教师，我们是认真的 ◐

摘要

在高等教育领域，虚拟式外语教学尚处于初级阶段，但虚拟现实技术特有的模态再建功能可为外语教学提供新思路。虚拟现实技术可为学习者创造场景体验，调整模态信息，还可以赋予其沉浸体验者新的身份。尤其在非语言信息的呈现与交互方面，虚拟现实技术有助于重构学习的物理空间。虚拟式外语教学有助于学习者多感官协同参与学习，加深感知与体验效果，提升学习效果和语言应用能力。本文探讨了虚拟现实技术辅助再建教学模态的功能，通过对非语言信息的再现和利用使学习者在场景中进行真实的语言交流。

1 引言

语言的意义和特定的社会文化环境有关，语言交流是参与者意义和认知的协调过程，所表达的意义与语境、表情、姿势等非语言因素密切相关。对于外语学习者来说，真实自然的目的语环境能提供语言学习的可理解性输入，但非母语环境中的外语学习通常缺乏作为意义建构的必要情境。虚拟现实技术（Virtual Reality，VR）为有效教学提供了新视角下的环境和过程，其模态再建功能为语言学习提供了带有交互功能的仿真环境，使语言能力在意义中生成。VR模态再建如何实现语言教学中的意义交流？在外语教学中，哪些语境可以利用VR来满足语言实训的真实需求？

在2015年前，VR在国内尚处于萌芽阶段，这一阶段的VR产品以塑造概念或模仿概念为主，主要用于军事、航天训练等高端领域。2016年被称为国际VR元年，此后随着VR各领域产品的迅速迭代，产品与市场逐渐走向成熟。我国2016年出台的若干规划文件均提到，虚拟现实等新兴前沿领域创新与产业化形成一批新增长点；要依托信息技术营造信息化教学环境，促进教学理念、教学模式和教学内容的改革，推进信息技术在日常教学中的深入、广泛应用，适应信息时代对培养高素质人才的需求。

当数字化技术进一步发展，VＲ 进入教学领域，2018 年 6 月教育部“新时代高教 40 条”特别提到重塑教育教学形态（第24条）以及大力推进慕课和虚拟仿真实验室建设（第25条），推动VR等现代技术在教学和管理中的应用。在虚拟资源建设方面，哈佛大学教育研究院的Chris Dede教授团队成为先行者，在美国教育部的资助下，他们开发了一门利用虚拟环境教授生态系统知识的课程。美国斯坦福大学和新泽西州州立大学也分别构建了虚拟现实实验室和MIX3D打印实验室，进行新形态教育资源的研发（杨现民等，2017）。在外语教学方面，已有欧盟VILL@GE（Vitual Language Learning through Edutainment Activities，基于教育性娱乐活动的虚拟语言学习）项目（马冲宇、陈坚林，2013）、基于虚拟情境的俄语教学模式（邵楠希、王玉，2017）和基于虚拟场景的对外汉语教学（Xie et al.，2019）等；此外，Frias et al.（2011）借用虚拟世界Second Life（第二人生）供留学生学习葡萄牙语；Redondot al.（2019）通过实验发现，将增强现实技术运用于EFL教学中，儿童的社会情感明显提升。VR还被应用于交流障碍症患者的言语一语言治疗（Lee，2019）。

2 文献综述

2.1 多模态对语言学习及意义交流的价值

人类通过感官与外部环境互动，每一种模态对互动和意义的表达都有贡献。Kress & van Leeuwen（2001）提出，多模态是综合使用相互强化或补充的多种符号来表达相同含义。张德禄（2009a）在分析多模态话语时将其视为：运用听觉、视觉、触觉等多种感觉，通过语言、图像、声音、动作等多种手段和符号资源进行交际的现象。胡壮麟（2007）强调，外语学习者多层次的多模态识读能力，即“技术识读能力”尤为重要。所有模态均具有表达意义的潜势，而每一个物质行为可以就一个以上的符号关系系统构建。例如，一个口语词的构建需要依赖非语言的音质。随着现代技术的发展和信息传播渠道的增加，教育话语正在从传统的“教师一学生一教科书”的媒介模型转变至更为复杂的模式，将技术应用于各种教育语境中，如超文本讲授诗歌或科技语篇，语言教师在线提取信息等，学习交流可由多种模态共同完成。

20世纪八十年代，Sweller（1988）的认知负荷理论（Cognitive Load Theory，CLT）认为，以视觉形式呈现的图示文本（illustrated text）比口述形式更能让人理解。Mayer（2005）提出了多模态学习的认知理论（Cognitive Theory of Multimedia Learning，CTML）。他提到的模态原则（模态效应）指出，在某些环境中，双模态形式（听这段图示文本）比单模态形式（阅读这段图示文本）更有助于理解一段图示文本。此前，他构建了从感官记忆到工作记忆，再到长期记忆的一个认知学习理论，证明了词语和图像融合的学习方式比单一地学词语方式的学习效果好（Mayer，2001）。Brunken et al.（2004：118）认为，视觉和听觉材料是在不同的工作记忆子系统中进行处理的，同时，二者的处理能力是分离且有限的，系统间不易交换。张舍茹、闫朝（2014）从多模态语言研究的角度切入，分析了借助多媒体进行多模态教学与深度学习、学习动因律和内化律的相关性。

多模态分析可帮助交际者理解一串符号来源（如声音、颜色、行为、姿势等）是如何合作产生意义的。Kress & van Leeuwen（1996）认为，文字和非文字符号的存在使得文本实现意义的过程发生了变化：阅读的路径不再是纯线性或是单义的，文本的接收方可以根据需求选择不同的形式，例如，浏览文本、缩放图像、回放视频等。为了评价模态以及意义形成过程的形式，Halliday（1978）区分了三大元功能：概念功能（ideational）、人际功能（interpersonal）和语篇功能（textual）。Francesconi（2011a；2011b）指出，多模态文本提供了多感官体验，形成对现实的一种幻觉。文字、视觉、听觉等效果巧妙地结合在一起，捕捉并维持学习者的注意力，激发一种令人愉悦的精神状态，有助于学习的关注度和强调性，以此留下可持续的记忆痕迹。

2.2 意义交流中的非语言因素分析

张德禄（2009b）提出，在话语交际中，话语的一大部分意义是由非语言因素体现的，如伴语言特征（音响、声调、语调、音速等）、身体特征（手势、身势、面部表情、动作、移动等）和非身体特征（PPT、音响设备、网络、实验室、实物/投影、周围的环境因素等）。多模态话语就是通过语言、图像、声音、动作等多种手段和符号资源进行交际的现象。在一定的文化语境中，讲话者要根据具体的情景语境选择要表达的意义，这些意义可以由图像（视觉模态）体现，也可由声音（听觉模态）体现。最关键的因素是使用不同模态相互配合，获得最佳交际效果，构建动态多模态话语的整体意义。诸多研究者（如Richmond & James，2008；张舍茹、顾曰国，2018等）认为，人际间说话交流时不仅交换语言信息，同时还通过发声方式、音质、音高、停顿、语速、触碰、空间调整等传递说者的情感信息。

在使用口语模态进行交流时，通常需要同时使用注视、手势、身体姿势、身体距离等模态（张德禄、王正，2016），同时，模态的结构分析包括顺序、综合、随机或独立存在等形式。例如，口语的结构形式是顺序性的，手势是综合的，而注视和头部运动等是随机的，物体模态通常是独立存在的。借助标注工具（如ELAN等）可对视频和音频数据的标识进行创建、编辑、搜索、可视化，用于分析语言、手势语和体态语等。针对手势的研究较多，Norris（2004）把手势特征分为：具象性手势、意象性手势、指示性手势和节奏性手势。陈朗等（2013）发现，学习者完成演讲任务的过程就是对模态间彼此强化、相互协调、前景一背景及抽象一具体相互搭配等原则加以探究和内化的过程。

1996年，Kress & van Leeuwen发展了以视觉语法为基础的社会符号学，将语言符号之外的其他符号纳入研究视野。在第七届国际多模态会议上，Kress指出，符号的变化体现着政治、经济、科技环境的变化。近年来，语言学者与传播学者都认为，图片、手势等非语言符号在交际与传播中起重要作用。Unsworth在会上提出了适用于分析漫画、图画书等视觉叙事的新“语法”体系（转引自冯德正、Low，2015）。

在意义的辅助符号方面，已有研究覆盖了各类对意义和表达有辅助功能的符号，如胡壮麟、董佳（2006）分析了教学中普遍使用的PowerPoint，认为其不仅是信息传递的工具，本身就是一种语类。自然语言仍然是表达意义的主要模态，但PPT通过图像和音像等模态参与主题意义的表达。潘艳艳、李战子（2017）认为，图像、音乐、颜色等非语言符号使话语意义的解读更加全面、准确，她们汇总了近年来多模态话语分析研究领域的新兴研究焦点，如漫画分析、会徽分析、山水画分析、交通标志牌分析、新闻报道中的图像分析、广告分析等。

3 VR的模态再建功能

语言在特定的社会文化环境中才产生意义，每种文化中都存在着相互关联的各种非文字符号（Halliday，1978；Halliday & Hasan，1985）。Risku（2010）提出了“情境认知”（situated cognition）。胡壮麟（2007）指出，当表达和塑造信息有多种方法时，需要根据传递的内容或意义选择合适的模态，还要考虑设计者的定位以及受众的兴趣，学习者的任务是将教学中的各种符号资源转变为理解。顾曰国（2007）提出，恰当的模态转换可以增强学习者对所学内容的内化，提高内容记忆的持久性。

3.1 语言学习情境化

虚拟技术在解决语言学习情境化方面具有特殊的运用价值，极大地延伸了学习与实训的空间，当学生在简单的句型操练中学习英语时，他们是没有预设到什么时候会用这个对话的。而在情境中学习语言，可以引导他们预测使用的环境。

在教学情境的构想与设计方面，VR技术辅助再建了学习模态，除了传统的感官体验，还突出了平衡觉和机体觉等共同感受的环境，调动了大脑皮层更多的兴奋区，从物理和心理两个层面创设一个虚拟空间，将学习者带入到沉浸式的空间内部去观察和体验，并学会在这个空间体现价值。VR支持的虚拟学习环境包括以下特征（Dillenbourg et al.，2002；Hamilton，2013）：①是一个经过设计的信息空间；②与教学相关的互动在这个环境中发生，将空间（spaces）转变为场所（places）；③上述信息及空间的形式各不相同（从文本到三维沉浸式世界）；④实践者不仅是积极的学习者，也是角色扮演者，由此共同建构成虚拟空间；⑤既可以远程实现，也可以作为课堂活动；⑥将各种技术融入多元教学途径；⑦大多数虚拟环境与物理环境有重叠之处。

如图1所示，《格列佛游记》VR教学作品利用空间再建的功能让学习者体会到主人公在大人国和小人国中自身与周围世界的截然不同。

在语言学习与实训中，VR的模态再建功能有利于学习者“注意”语言的使用环境和意义指向。VR技术创设虚拟环境时可以强调实训中的一些特殊元素，去除干扰因素。范晔（2009）用认知心理学中“注意”的概念对二语习得进行研究，例如，语言现象的复杂程度对于注意的效果。Heeren et al.（2012）尝试对57名大学生进行注意偏向训练，实验后他们在即兴演讲任务中的表现有所提升。Gass（1988；1997）和Schmidt（1990；2001）研究得出：学生最终学到了什么及其中介语系统的发展在很大程度上取决于他们注意到了输入中的什么元素。在由VR创设的学习环境下，当学习者进入VR空间，他们的“注意”就被带进学习所指向的元素，引导其从庞杂的外部认知过程中转向目标明确的相关信息。

综上，根据VR的特性以及教学的需求，VR的模态再建功能在语言文化教学领域可应用于：①场景体验。创设真实情境是外语教学设计的一项重要内容，而虚拟技术是创设情境的有效工具。VR特别适合实现一般无法获得的场景，例如演讲中有观众与评委出现的现场感（如图2-1和图22）。VR也适用于ESP教学，其应用场景通常具有职业特征，配合特定的语境而产生意义，如商务英语（如图3）、会展翻译（如图4）等都是在特定环境中的语言交际。②调整信息。VR有利于整合资源，增减信息的类别与数量，例如，在演讲中调整相关的模态信息和干扰信息( 如图 2-3 和图 2-4) ，增加干扰性的认知负荷，让学习者预知场景，提高现场应变能力。③身份建构。在外语演绎运用方面，VR还能塑造镜像关系。例如，根据经典文学作品创设的场景，在虚拟仿真情境中，学习者被赋予新的身份，以类似于主人公的形式获得认知（如图5）。

图2-1是演讲者直接面对听众，感受演讲台的高度、现场倒计时的心理压力；图22是对现场光线的还原，使演讲者预知现场的光源和明暗节奏；图2-3和图24还原了现场的干扰信息，如听众交谈、走动、接听电话等。

在图3中，通过实时动态的运营模态再建，为学习者还原了“线上+线下”的新零售模式。学习者可以在任何区域进行实景对话，抓取货物，抬头就可以看见实时配送货物的输送轨。

在图4中，演练者直接置身于同声传译工作室，听音翻译。虽然戴上头盔后不能直接进行笔记训练，但字幕会起到提示作用。实训者可以设置不同的难度模式，难度越高，提示的词越少。

图5展示的是中英文经典诗歌赏析教学中的一个场景，“景面文心”意味着诗歌虽然看似是对自然的描绘，实则体现诗人的内心活动。图5选自Robert Frost的自然诗Stopping by Woods on a Snonwy Evening，图5-1邀请学习者根据诗词选择正确的自然意象，进入VR场景完成十项任务；图5-2在视觉上还原诗歌意境，同时会随着场景的移动听见人和马的轻微脚步声、风声、冰冻湖面的裂缝声，看见远处的村庄，观察到白色的雪地、飘落的雪花和不远处的密林，体会作者当时的心情和想要表达的情感。

3.2 VR场景特有的非语言交流

VR技术对于非语言信息的再现和使用使交流效率显著提升。真实世界中，当我们运动时，场景会随之变化，VR场景所具备的功能让体验者身临其境。当VR场景的呈现非常接近真实世界时，体验者的大脑会将VR场景认作是真实的世界，形成知觉效应，从而做出与在真实世界时类似的反应。

按照用户参与形式的不同来区分，VR运用目前有桌面式、分布式、沉浸式、增强式及混合式等。其中，沉浸式VR比较适合外语教学，将用户的听觉和视觉等放置到场景中，提供完全沉浸的体验。用于交流的语言不是静态的，而是随着交流情境的变化而发展的动态认知过程，交流任务特征、交流目的、对话各方的特征等都是判断语言交流效果的因素。学习者在实际交互中使用外语的动机比较明确，语言输出是具备了真实交流意图的行为。沉浸式VR对非语言交流所需的场景进行再现，使学习者在场景中形成真实世界中应有的语言反应。

在图6中，眼神位移的模态再建功能有效地检测了角色扮演者进入场景后的视听理解状态：其头部转动会反映眼神的注视方向。以图6-1为例，角色扮演者进入场景，当听到敲门声时，如果头部转动到门上的“眼睛”位置，门就开了；如果扮演者未对敲门声产生反应，屏幕首先同步以单词KNOCK的形式提示（听觉可视化），如果定位仪检测到其眼神没有到达门的位置，屏幕上就会出现提示语“sounds like somebody is at the door”（如图6-2）。

针对非语言行为及其对应含义，Ekman & Friesen（1981）归纳出五类关系：图示关系、空间关系、节奏关系、动作关系和指向关系。在真实世界中，Samovar & Porter（1991）将非语言交流分为四类：肢体语言、人际空间、声音和时间控制。在虚拟空间中，很多信息可以有意识地呈现出来，如动画、外观以及演示者虚拟化身的各种动作。

针对虚拟空间的非语言交流，Kujanpaa & Manninen（2003）增加了第五种类别：外观形象，也就是说，在VR空间，虚拟人物的发色、发型、肤色、眼睛颜色、穿着、随身饰物等都能给交流者带来不同的信息。Second Life出售过数千种非语言产品，如：皮肤、体型、发型、纹身、服装、配饰、道具、动画等，还可以添加“鼓励式轻拍”（encouraging pat）或者“安慰式拥抱”（comforting hug）等。Martin（2014）研究了Second Life中通过虚拟产品来实现非语言交流。

图7中，非常简单的场景通过服饰和肢体语言等向学习者展示了一个相对正式的商务会谈场合，学习者不仅可以进行语音测评，还可以通过身体的位移靠近或者远离对话方，体验合适的社交距离。如果采用多人模式，还可以进行文件的交接。

在图8的多人同台演讲模式中，虚拟同台的其他演讲者可能经验丰富、表现自然，也可能非常紧张、略带局促，其着装、体态、手势和位置等都可能影响演讲效用的发挥。

4 结语

在外语教学中，基于情境的语言交流与意义传达是学习者必备的综合应用能力之一。VR技术的模态再建功能为外语学习者模拟出真实世界的语境，如竞赛、工作和社会环境，尤其是非语言信息的呈现与交互，同时也为文学作品的鉴赏提供了身临其境的新空间。重构学习的物理空间，改善师生的感知效果，为学习者提供多模态实训情境，推动师生与学习环境及学习内容进行深度互动。上述所呈现的实训内容均已正式应用到教学中，即时的应用反馈均表现为：学习体验独特、情境代入具有真实感、学后印象深刻。从语言教学的特征出发，有效学习数据还将通过后台记录的视觉移动轨迹、停留时长来精准判断学习中的难点，通过不同场景切换来调整学习者的学习习惯，增强语用意识。

随着技术的发展，增强现实、混合现实和全息投影等技术能更好地贯通虚拟世界和现实世界，在虚实融合的环境中，按需增减模态符号，进行更加个性化、协作式、沉浸式的虚拟式外语教学与演练。

免责声明：原文载于《外语电化教学》2020，（01），版权归作者所有，如有侵权，请及时联系删章。

编辑|排版：魏晨晨