在构建语料库的过程中，我们常常会发现收集到的语料有着众多格式问题，这时候就需要进行语料降噪，又称语料清理。语料降噪是指消除语料中多余的字符或影响语料对齐的字符、公式、图表等，以提高语料库统计分析的效用。最常见的问题包括语料中多余的空行、多余的空格、全半角标点转换及非正常断行等，如图1、2所示。

图1 多余空格、空行、全半角标点混用

图2-2 多余空格、非正常断行

工具描述：

Word的强大降噪功能体现在“查找和替换”中的“特殊格式”上。在语料降噪实践中，最常见的“特殊符号”为段落标记（^p）、手动换行符（^l）、任意字符（^?）、任意数字（^#）、任意字母（^$）等。

具体实践：

1. 删除多余空行

1. “查找和替换”功能

2. 在“查找内容”里点击特殊格式→段落标记（P）或直接输入^p

3. 在“替换为”保留空白

4. 点击替换，重复这一步骤直至没有多余空行

图3 使用word删除多余空行

1. 删除多余空格：

1. 在“查找内容”里输入两个空格

2. 在“替换为”里输入一个空格

3. 点击替换，重复这一步骤直至没有多余空行

4. 注意*中英文文本不同，英文文本保留一个空格，中文文本不保留空格

图4 使用word删除多余空格

1. 全半角标点符号混用：

1. 首先选中“搜索选项”内“区分全/半角”

2. 在“查找内容”里输入中文输入法下的标点

3. 在“替换为”里输入英文输入法下的标点

4. 点击替换，若需半角符号转为全角符号，则“查找内容”和“替换内”对调

图5 点击“区分全/半角”

图6 从全角标点符号转为半角标点符号

更多时候，我们需要处理的是txt格式文件，这时候就需要使用如Emeditor或者Editpad Pro等文本编辑器来清理语料。

工具描述：

EmEditor是一款功能非常强大的文本编辑器，具备文本检索、降噪、分割、合并、对比、提取等功能，同时语料速度处理快，软件简洁大方，没有绑定的付费项目。

图7 EmEditor安装界面

“正则表达式”是什么？一种文本模式，包括普通字符（例如，a到z之间的字母）和特殊字符（称为"元字符"），通常被用来检索、替换符合某个模式/规则的文本。

具体实践：

1. 删除多余空格/解决全半角标点混用问题

1. 导入txt文件

2. 点击“搜索”→“替换”

3. 和word查找替换的步骤是一样的

图8 EmEditor的搜索替换界面

图9 删除多余空格/解决全半角标点混用问题

1. 去除标点前的多余空格

   图10 标点前出现多余空格

   
   

1. 在“查找”处输入\s+([[:punct:]])

2. “替换”处输入\1

3. 点击“替换”

4. 这里要注意，不是所有标点前的空格都要删除，所以在查找替换的时候避免直接“替换全部”

图11 去除标点前的多余空格

1. 删除英文语料中的中文信息/中文语料中的英文信息

图13 英文语料中出现中文

1. 在“查找”处输入[一-龟]+或[A-Za-z]+

2. “替换”处留白

3. 点击“全部替换”

图14 删除英文语料中的中文信息

1. 删除多余空行/缩进

图15 多余的缩进、空行示意

1. 在“查找”处输入^[\s\t\n]*

2. “替换”处留白

3. 点击“全部替换”

图16 删除多余的空行/缩进

1. 非正常断行

当文本较为简单，只有一个段落中有非正常断行时的处理方法： 

图18 非正常断行示意

在“查找”处输入\r\n

“替换”处留白

点击“全部替换”

图19 删除非正常断行

图20 删除后效果示意图

图27 待解决的问题：标点前的多余空格

原创来源：北外CAT课程-语料库技术-2024春-小组成员：曹瑞恩 卓书妙 黄书婷

推文编辑：李丹

审核：陈毅强  陈杲

文章推荐：

如您喜欢我们的内容，欢迎您点赞、在看、转发，更多问题可后台留言小编哦