重 磅｜古汉语词义标注语料库：助力词义教学与研究

供稿丨舒蕾、张文强、胡韧奋

读中学时是否曾对文言文和古诗词中的“古今异义词”感到困惑？

想知道古汉语多义词的各种含义是如何随着时代变化吗？它们之间的远近亲疏关系又是怎样的？

借助智能技术的加持，这个语料库可以帮到你！

近日，北师大中文信息处理研究所和人文宗教高等研究院的团队合作发布了“古汉语词义标注语料库”，这项研究也在不久前获得了2021年中国计算语言学大会（CCL）最佳资源论文奖。基于词义标注语料库开发的词义标注算法，不仅可在义项演变建模、义项亲疏关系建模和辅助词典编纂方面为研究者提供一个新的视角，也可为文言文与古诗词中的词义理解提供支持和辅助。

先来看看它可以做什么吧！

“使”这个词的主要含义是如何随着时代变化的呢？义项演变建模可以直观地展示各个义项之间的消长关系。从图上可以看出，“使”作为“官职”的意义从汉代开始大量使用，并且占比持续上升，在清代成了最主要的义项，到这时，“使”大约一半的用例都是作为“官职”的含义出现；而“使”作为“命令、派遣”的意义在先秦占据主导地位，但是随着时代的变化逐渐淡出视野，而要表达“命令、派遣”的意义时，人们倾向于用别的词来代替了。（义项建模的具体实现细节参考论文[1][2]）

把一个词的多个义项看成一个个分布在空间中的“点”，它们之间的远近关系也就一目了然了。词义标注算法所衍生的“副产品”——义项向量，可以用来计算和可视化义项之间的远近亲疏关系。在图中，“望”的义项“远望”和“向，对着”比较接近，“期望、盼望”和“希图、企图”比较接近。而“遥祭”和“望日”和所有的义项都较为疏远。可视化的分析结果为词典编纂中的义项归并与拆分、义项引申关系判断等问题提供了参考。

看了以上的两个例子，你或许有疑问，一个语料库是怎么做到这些的呢？就让我们一起来看一下这个语料库里都有些什么吧！

古汉语词义标注语料库由词义知识库和义项标注语料库组成，目前知识库已收录315个常用词，并据此标注了先秦至明清的古汉语语料达5.8万条，规模超过164万字。

词义知识库示例“爱”

语料库团队中汉语言文字学方向的研究者以《王力古汉语字典》为基础、《汉语大字典》为补充，对古汉语中的常用单音节多义词的义项进行归纳和划分，对同形词、通假现象和专有名词也做了相应处理，最终构建了涵盖词形、词音、词性、义项、义族、本义及引申义、例句、义频等属性的词义知识库。值得一提的是，在收录词语时，团队成员特别考虑到高中阶段的文言文教学需求，结合高中语文教材、高考试题文言文选文、近十年高考试题所考察过的文言实词以及《教学大纲》所规定的120个常用文言实词等材料，选定了高中语文学习常用的200多个文言多义实词加入知识库[3]。

词义知识库属性示例

接下来，团队成员以国家语委“语料库在线”（古代汉语部分）和CCL古汉语语料库为来源，对其中语料进行分朝代均衡采样，并据此开展义项标注工作，即对一句话中指定的目标词标定合理的义项。最后，根据语料库标注结果统计义频信息，填入上文所述的词义知识库。

词义标注语料库示例

词义标注完成后，就可以由词义标注算法来充分挖掘这个语料库的潜力了。词义标注算法的思想来自Harris和Firth的语言学假设：

根据上述词义表示的思想，我们从词义标注语料库中筛选一个义项的所有例句，便可为该义项寻找共同的“语境特征”。多亏了近年兴起的预训练语言模型BERT [8][9]，我们可以很方便地获取词语的上下文相关“语境向量”，这个向量看似由一个个实数组成，它背后包含了这个词上下文的重要信息：它和什么样的词一起出现——这也就是它的语境特征。

这样一来，算法便为每一个义项构建了独特的“语境特征向量”。如果这时候给出一个新的句子和需要消歧的多义词，我们就可以指导机器选择与这个新句子语境最相似的“语境特征向量”，那么它对应的义项就最有可能是当前多义词在语境中的义项了。进一步地，如果想知道一个多义词的所有义项频率的分布，只需把现存典籍里所有包含这个词的句子全都取出来，对每句话都做这样的词义标注操作，就可以看到一个词在不同时代、不同书籍里面的义项分布情况。

本研究得到国家自然科学基金青年项目“面向古籍整理智能化的知识表示与加工研究”(62006021)资助。两年多来，北京师范大学的曹媛南、段毓赜、郭懿鸾、何琪怡、黄芷晴、蒋瑞、李涔、李隽琪、罗涵柯、舒蕾、孙雨、王慧萍、杨济清、姚昊辰、张文强、张霄等同学（姓名按音序排列）为义项修订和语料标注工作作出了贡献；张学涛和胡韧奋老师为语料库的建设提供了悉心的指导。在此一并致谢。

本文来源：章黄国学

点击文末“阅读原文”可跳转下载

"心得君"

微信：xindejun_yyxxd

点击“阅读原文”可跳转下载