学术速递|校本英语水平考试与《中国英语能力等级量表》的对接研究——以“上海交通大学英语水平考试”为例
点击蓝字
关注我们
《外语界》2020年第5期（总第200期）
校本英语水平考试与《中国英语能力等级量表》的对接研究
——以“上海交通大学英语水平考试”为例
提要：国内外英语水平考试与《中国英语能力等级量表》(CSE)对接是一项重要工作。本研究采用以学生为中心的方法，对接上海交通大学英语水平考试(SJTU-EPT)与CSE。笔者编制问卷收集每个学生的英语水平CSE等级评定结果，然后根据SJTU-EPT成绩将学生分为不同组别，对同组学生的CSE等级通过定性和定量分析加以确定，完成SJTU-EPT与CSE的对接。对接结果表明，SJTU-EPT的7个报道等级可以对接到CSE的四级到八级。本研究对大学英语校本考试研制和英语教学具有借鉴意义。
关键词:语言能力量表;中国英语能力等级量表;对接;校本英语考试
Abstract: It is an important project to align China's Standards of English Language Ability (CSE) with English proficiency tests at home and abroad. This study，adopting a student-centered research method，attempts to link Shanghai Jiao Tong University English Proficiency Test ( SJTU-EPT) to the CSE. The researcher develops questionnaires to collect data on the CSE level of each student's English proficiency. Based on the students' English proficiency levels reported by the SJTU-EPT，the researcher then divides the students into different groups. Through a qualitative and quantitative analysis of the students' CSE levels within the same group，the researcher decides the students' CSE level for each group，and establishes the alignment between the SJTU-EPT and the CSE. The results show that the seven reported levels of the SJTU-EPT can be linked to the CSE levels Four to Eight. The study is expected to shed light on the development of school-based English proficiency tests and English teaching in universities and colleges.
Key words: language proficiency scale; China's Standards of English Language Ability; alignment; school-based English proficiency test
中图分类号: H319 文献标识码: A 文章编号: 1004-5112( 2020) 05-0072-08
1.研究背景
2018年发布的《中国英语能力等级量表》(CSE)是我国首个统一的英语能力标准，提供多等级的英语能力描述，为英语课程大纲、英语教学、英语考试提供能力参照标准(刘建达 2015)，能够加强对英语教育目的和结果的交流(Jin et al. 2017)。为更好地服务英语教学和评估，英语考试与CSE的对接是语言能力量表应用研究的重要内容。国际考试与CSE的对接工作已经起步。2019年，中国教育部考试中心与英国文化教育协会联合发布了雅思、普思考试与CSE对接研究的结果，与美国教育考试服务中心联合宣布托福iBT考试对接CSE的结果。但是，国内英语水平考试与CSE的对接研究才刚开始，而且仅限于大规模、高风险考试。
上海交通大学英语水平考试(SJTU-EPT)是上海交通大学外国语学院为适应大学英语教学和测试改革需求而开发的校本英语水平考试。SJTU-EPT的设计参照了《大学英语课程教学要求(试行)》，结合我国社会对大学生英语能力的要求和上海交通大学的人才培养目标，着重检测学生的英语运用能力。本研究尝试开展SJTU-EPT与CSE的对接，明确SJTU-EPT报道等级与CSE各能力等级之间的关系，以期推动我国CSE量表对接研究。
2.考试与语言能力量表对接相关研究
随着世界各国语言能力量表的逐步发展和完善(North 2000)，越来越多的研究开始关注量表在语言测试中的应用，尤其是《欧洲语言共同参考框架》(CEFR)修订版(Council of Europe 2009a)和《连接语言测试与欧洲语言共同参考框架的手册》修订版(Council of Europe 2009b)(以下简称《手册》)的推出极大促进了不同语言测试与CEFR的对接。Martyniuk(2010)记录了各国专家将各种类型的语言测试与CEFR对接的案例，指出对接研究通常遵循并拓展《手册》中的4个步骤，即熟悉阶段(familiarization)、考试说明阶段(specification)、标准设定阶段(standardsetting)和效度验证阶段(validation)。语言测试与CEFR的对接甚至已成为国际语言测试领域的一个研究方向(闵尚超 2012)。
我国英语考试与语言能力量表的对接研究大致可分为3类。第一类是大规模考试与CEFR的对接研究，比如大学英语四、六级考试或英语专业四、八级考试与CEFR的对接。黄婷和贾国栋(2012)认为完全可以实现大学英语四、六级考试与CEFR在内容上的匹配。王伯韬(2015)论证了英语专业四、八级考试阅读理解试题与CEFR对接的可行性。此类对接研究都是从考试的任务/题目出发，目的是探讨国内有影响力的大规模考试与CEFR标准进行关联的可行性。CSE发布之前国内还没有统一的英语能力标准，因而研究者希望通过对接CEFR来了解国内学习者的英语水平。第二类是特定学习者群体的英语能力水平与CEFR的对接研究，更准确地说是学生英语能力在CEFR标准上的定位(标定)。黄列(2013)探讨了中国非英语专业二年级学生英语水平与CEFR等级的对接。颜巧珍(2015)使用自评方法把某高校英语专业4个年级学生的语言能力与CEFR对接，探究各年级学生的语言能力水平以及4个年级学生的整体语言能力发展状况。第三类是国内外大规模英语考试与CSE的对接研究。闵尚超(2019)、吴莎(2019)探讨了雅思、托福等国外大规模英语考试与CSE对接的预期效应和效度。关于国内考试，仅有揭薇(2019)论证了大学英语四级口语考试与CSE的对接。国内CSE量表的对接研究还较为欠缺。
本研究尝试将SJTU-EPT与CSE对接，是率先开展大学校本英语水平考试与CSE对接的研究之一，将在大学英语学习、教学、测评中起到桥梁作用，为英语学习、教学和测评提供共同参照标准。再者，校本英语水平考试与国内外语言能力量表的对接能够提高校本英语水平考试的影响力，完善校本考试建设，对校本考试体系建设具有重要意义。
3.研究方法
SJTU-EPT是上海交通大学为非英语专业本科生设计的，与大学英语四、六级考试和托福
等大型标准化水平考试相比有其独特性，与CSE的对接具有一定难度。首先，SJTU-EPT对不同等级语言能力的描述尚未形成完整体系。SJTU-EPT成绩共有7级，但成绩的解释和等级说明目前只分为3档，即优秀(A+、A)、良好(B+、B)、合格(C+、C)，D等级没有描述。因此，从等级描述内容角度的考试和量表对接不可能实现。其次，SJTU-EPT的部分听力、阅读和写作题型多样，每次考试任务可能会有变化。虽然考试结果分析显示考试的整体难度变化在可接受范围内，但单个考试任务的难度可能变化较大。例如，写作第一部分即便都是100词左右的记叙文写作，漫画描写与图表描写的难度就会有差异。因此，从考试任务出发设定标准，继而进行考试和量表的对接会比较困难。第三，由于单项考试任务难度会发生变化，基于任务的CSE对接需要专家主观评定试题内容难度或学生能力水平，而教师对CSE熟悉程度不同，对题目难度的判断标准各异，从而造成评分员之间的误差较大，可能难以保证对接结果的可信度。由此可见，从考试内容和任务出发对接SJTU-EPT与CSE都有难度，笔者最终决定使用以学生为中心的方法进行对接研究，即采用相同被试的研究设计。
3.1研究对象
上海交通大学的大学英语课程仅在一年级开设，实行由低至高的一级到四级4个级别的分级教学。本研究从2018级4个教学级别中随机各抽取2个班级共8个班级的636名学生作为被试，2018级所有学生在2019年6月参加了SJTU-EPT。被试抽样方法的确定有两个出发点:其一，每个教学级别都有学生参与，被试包括英语水平从低到高不同层次的学生，确保抽样的完整性。其二，同一教学级别学生的英语水平大致相当，与CSE对接后某一等级的学生人数可能会大致相同。如果对接后CSE不同能力等级之间学生人数差异过大，仍有足够的被试作后续调整。8个班级的8位任课教师也参与了研究，主要是主观评定学生的英语水平。学生自评量表问卷共发放636份，回收有效问卷595份(有效率93.6%)，SJTU-EPT每个报道等级的学生人数及其百分比如表1所示。这次考试报道结果中没有出现A+等级，A级和D级也较少，但是每个等级被试人数在被试总人数中的比例与各等级考生人数在考生总人数中的比例大致相当，样本代表性总体上较为理想。
3.2研究工具
本研究采用相同被试设计理念，通过相同学生把SJTU-EPT报道等级和CSE等级相连接。学生需要运用CSE自评表进行自评，而教师要基于日常观察和教学实践，对照CSE能力描述语对学生英语水平进行评定。因此，研究的重要工具是基于CSE自评表设计的学生自评表和教师的学生英语水平评定表。
学生自评表设计中能力描述语的选取是关键。大学生的英语水平大致对应CSE的五级和六级能力，研究者选取了CSE的四级到七级共4个等级的描述语，原因如下:一方面，学校有英语非母语留学生、民族班和体育班学生，他们的英语水平相对较差，依据研究者的教学经验和CSE描述语大概可以达到CSE四级。另一方面，由于语言环境和地域关系，有些学生的英语水平已经超出同龄学生，达到甚至超过CSE七级。学生整体自评结果还需与教师的学生英语水平评定结果相互印证，才能最终确定学生英语能力的CSE等级。同时，研究者又选取了CSE自评表四级到七级的听、说、读、写单项语言能力描述语，请学生从分项技能角度自评，以验证整体自评结果的准确性。因此，学生自评表分为两部分:一是个人信息，包括姓名、班级等;二是能力自评，包括单项能力描述和整体能力描述。能力自评采用李克特5点量表形式，选项1—5分别代表从“不能达到”到“完全达到”描述语所描述内容的程度，学生根据自己的能力水平选取相应选项。
教师评定表分为三部分:一是教师基本信息，二是学生能力评分表，三是CSE能力描述语。教师需要认真阅读CSE四级到七级的能力描述，根据每个学生的真实英语水平从数字4—7(分别代表CSE的四级到七级能力)中选择数字评定CSE等级。对于最低和最高教学级别班级的教师，研究者还提供了CSE更低(三级)和更高(八级)等级的描述语，以便教师通过对比CSE不同能力等级描述语对学生英语水平作出准确判断。
SJTU-EPT考卷是另一种研究工具。SJTU-EPT采用笔试形式，满分100分，由听力(30题35分)、阅读(24/27题35分)和作文(2篇30分)组成。SJTU-EPT分数解释采取既参照“常模”也参照“标准”的双重解释模式，报道分数是一个常模参照转换分数，满分150分，同时还有对应的报道等级(常辉，朱正才 2018)。SJTU-EPT考试结束后，学生的考试成绩可以用于报道等级(见表2)。
3.3研究过程和数据分析
SJTU-EPT与CSE的具体对接主要采取3个步骤。第一步，研究者分别指导学生和教师阅读、理解选取的CSE描述语，然后邀请学生和教师分别填写学生自评表和教师评定表，通过计算CSE学生自评、SJTU-EPT成绩和教师评分之间的相关矩阵，考察它们的相关性来验证测评工具的信度。
第二步，考试结束后，学生的报道分数按照表2的对应关系转化为报道等级。每个学生的成绩得到两个等级标签:一是SJTU-EPT成绩报道等级，二是CSE等级，其中CSE等级包括学生自评和教师评定的两个等级。
第三步，对每个成绩报道等级内的学生自评CSE等级和教师评定的CSE等级分别进行频数统计，哪个CSE等级人数最多，则学生的英语水平被判定为相应CSE等级。教师和学生的评测数据不一致时，以教师的评定为准。这是因为学生整体能力的描述语比较简练，可能会出现理解不到位现象，而教师经验更为丰富，判断更为准确(详见后文测评工具的信度分析)。
4.结果和讨论
4.1测评工具的信度论证
为了确保对接研究的科学性，研究者首先计算自评表的信度系数，以及学生自评、教师评定和SJTU-EPT分数的相关系数。结果显示，学生自评表的整体alpha信度系数为0.987，听力、阅读、口语和写作部分的alpha信度系数分别为0.947、0.950、0.970和0.972，信度很高。学生自评、教师评定和SJTU-EPT分数的相关矩阵如表3所示。
表3显示，学生自评分、SJTU-EPT分数和教师评分的相关系数都很高:(1)教师评定与学生整体自评相关系数为0.752，与学生分项自评总分相关系数为0.372，说明教师评定和学生整体自评结果更可信;(2)SJTU-EPT分数与教师评定、学生整体自评相关系数分别是0.794和0.765，再次验证了学生整体自评的可信度较高，也证明了CSE用于自评的可行性;(3)单项能力上，学生自评分数与SJTU-EPT分数相关，相关最高的是听力0.534，其次是阅读0.359，写作最低0.296。这说明学生对写作语言能力的自我感知能力较差，可能是因为不太了解写作能力的评价方法。但是，教师的评定结果与学生的SJTU-EPT单项能力分数相关较高，听力0.685，阅读0.707，写作0.566，表明在主观评判上教师的评判水平比学生高，评判结果更可信。
4.2 对接结果的论证
在测评工具信度验证的基础上，研究者着手进行对接的实质性工作，对教师和学生评定的被试英语能力CSE等级进行综合计算。首先，由于学生整体能力自评表中每个CSE等级的描述语都有若干条，研究者需要计算每个学生在每个CSE等级上若干描述语选项得分的平均分，哪个等级平均分高，学生属于对应等级的可能性就越大。学生的最终等级应是平均分接近2.5分的最高一级，因为2.5分是每个等级的中心，学生在大学一年级参加SJTU-EPT考试，之后英语水平会有进步。学生自评在某一等级超过2.5分时应被认定达到该等级水平(罗莲 2017)。然后，按照考试报道等级把学生分为6组，分别统计每组学生在每个CSE等级上自评结果和教师评定结果的数量，结果分别见表4“学生自评”数据和“教师评定”数据。表4中括号内同一等级百分比相加不等于百分之百，因为研究者在统计数据时没有四舍五入，直接去掉小数点后两位。
从表4可以看出，SJTU-EPT考试成绩中B+和B级的学生CSE等级主要为六级，因为教师(72%)和学生(84%)大多选择了这一等级，并且B+的一部分学生可能会达到七级水平，教师和学生中20%左右选择了七级。C+和C级的学生CSE等级大都在五级水平，虽然34%的C+学生选择了六级，但85%的老师选择了五级，C+学生的等级因此被判定为五级。对于A级和D级的判定，教师和学生之间存在较大差别。给最低和最高教学级别班级教师的描述语增加了CSE三级和八级描述语，所以教师的判断结果中都有一定的三级(5%)和八级(18%)选择比例。教师判定部分A级学生的能力达到CSE八级，同时这次SJTU-EPT考试结果中没有A+成绩，所以SJTU-EPT成绩较高学生的英语能力很有可能超过CSE七级。综合考虑后，最后判定A级学生的CSE等级在七级到八级，大部分在七级，而D级学生定在四级。虽然少量学生(如一些留学生或者民族生)的水平大概在CSE三级，但实际数量很少，参考价值不大，故未予考虑。也就是说，学生的英语能力水平基本达到CSE的四级到八级。为了更加明确、直观地体现SJTU-EPT成绩等级与CSE等级的对应关系，研究者把表4的信息简化，绘制了SJTU-EPT成绩等级与CSE等级对照图(见图1)。
SJTU-EPT与CSE的对接结果也可通过对学生自评表的Rasch分析来作部分验证。McNamara(1996)曾建议，描述语难度值的可接受范围(M+S.D.×2=R，±R为可接受范围)能够反映学生的语言水平，比如黄列(2013)也是在这一理论基础上分析判读描述语的等级归属。本研究可接受的描述语难度值是从+(0+0.86×2)到-(0+0.86×2)，也就是±1.72。从学生自评数据的分析结果来看，描述语的难度值均在两个标准差范围之内(见图2)，表明CSE四级到七级的描述语完全可以反映这些学生的语言水平。
由于校本考试的独特性，SJTU-EPT与CSE的对接没有完全遵照《手册》的4个步骤，而是
根据学生为中心的理念，采用教师评价和学生自评相结合的方法，并且秉承《手册》中对接研究的科学性和严谨性要求。对接方法对校本考试的适用性可通过以下途径增强:
第一，使用和验证自评方法。虽然学生自评和教师评定的主观性较强，容易受到质疑，但学生自评总分、分项评分和教师评定的相关矩阵分析验证了评定工具的信度，证明自评方法可用于对接研究。为了确保自评质量，对接研究前期需要提供细致、充分的培训和讲解。
第二，引入教师评定，弥补学生自评的误差。教师基于自身和学生的教学实践以及学生日常测评的数据对学生的英语能力作出评定，并不是随意、盲目打分。以教师评定等级最终判定学生的CSE等级有据可依，这也是校本考试研究能够采用的特有、可信的数据来源。
第三，定量、定性数据的相互支撑和印证可作为对接结果的初步效度验证，促使研究结果的科学性提升。也就是说，混合式研究设计能够发挥两种数据分析的优势，更有效地解释和验证对接结果。
由此可见，校本考试与语言能力量表的对接研究以教学实践为基础，但又不只是依托教学，研究结果还可真实反映学生能力水平，服务教学，为教学目标和计划制定提供依据，也为校本考试的自我完善提供实证数据。
5.结语
CSE发布时间较短，它的一个重要功能是为全国英语教学和测试提供共同的能力参照框架和等级标准，所以校本英语水平考试与CSE的对接是必要且迫切的。SJTU-EPT与CSE对接研究采用“共同被试设计”和问卷调查工具，是对CSE在测试领域应用研究的有益尝试，研究结果对高校大学英语校本考试和教学都具有重要实际意义。本研究也存在一定不足。第一，自评表设计未把CSE三级到八级的描述语都包括在内，不然SJTU-EPT的A、D等级与CSE等级的对接会更明确。第二，SJTU-EPT没有出现A+等级，对接结果稍有欠缺。第三，SJTU-EPT考试成绩的A、D等级学生人数偏少，研究结果的代表性可能会受到一定影响。第四，等级最后依据专家经验判定，主观性较强。随着SJTU-EPT等高校大学英语校本考试不断发展，今后可以开展更多考试任务或考试内容视角的对接研究，进一步验证大学英语校本考试成绩与CSE能力等级的对接关系。
*本文授权转载自《外语界》2020年第5期（总第200期）
文章来源：
https://kns.cnki.net/kcms/detail/detail.aspx?dbcode=CJFD&dbname=CJFDAUTO&filename=WYJY202005011&v=tH8moGfoOZCFIAQAkV%25mmd2B2zfCoZv84yYkYZJb%25mmd2BPgWTINDE75fzg4x0qOQs9BQi0vo6
部分图片来自网络
《上海交通大学英语水平考试》
组编 上海交通大学外国语学院英语水平考试设计组
编著 常 辉 朱正才
测评工作在英语学习和英语教学中发挥着非常重要的作用，不但可以为学生的英语水平提供一个客观的鉴定，还可以为学习和教学提供大量的反馈信息，用以改善学习和教学。上海交通大学英语水平考试是主要面向上海交通大学本科生的统一英语能力水平考试，创立至今已有十一年，并于近几年得到了全面完善和更新。本书主要介绍该考试的设立目的、设计理念、试卷结构以及考试词表的制定，具体包括笔试和口试大纲、样题，以及带分级标注的考试词表，共三个部分。
扫描下方二维码
即可进入购买页面
往期回顾
1. 上海交通大学英语水平考试（SJTU-EPT）的10大创新和特色