查看原文
科技

首个中文版大语言模型综述来了!

RUC AI Box RUC AI Box 2023-08-03

今年3月末,我们在 arXiv 网站发布了英文版大语言模型综述文章《A Survey of Large Language Models》,该综述文章系统性地梳理了大语言模型的研究进展与核心技术,讨论了大量的相关工作。今年 6 月底,为了提升该综述的质量,我们进行了大规模修订,目前版本号目前迭代到 V11。

大模型综述升级啦

2023-07-05

同时,为了促进大模型知识在中文社区的传播,推动中文大模型研究,我们对英文版进行了翻译校对,推出了首个中文版大语言模型综述,目前已经对应更新到了 V10 版本(共 60 页),并将持续更新。

中文版大语言模型综述

最近几年现有的 LLM(大小超过 100 亿)的时间轴
现有 LLM 预训练数据中各种数据来源的比率

一个典型的预处理预训练数据的流程图

近年来 LLM(指规模大于 100 亿的模型)的统计数据,包括评估、预训练数据规模(以 token 数量或存储大小表示)和硬件
  • 中文版链接:https://github.com/RUCAIBox/LLMSurvey/blob/main/assets/LLM_Survey_Chinese.pdf

  • 英文版链接:https://arxiv.org/abs/2303.18223

  • GitHub项目链接:https://github.com/RUCAIBox/LLMSurvey

我们的综述文章自发布以来,收到了广泛网友的大量修改意见,在此一并表示感谢。也希望大家一如既往支持与关注我们的大模型综述文章,您们的点赞与反馈将是我们前行最大的动力。

多推荐


多模态大模型的幻觉问题与评估


探究检索增强下的大模型知识边界


幻象 or 事实|HaluEval:大语言模型的幻象评估基准



点击下方“阅读原文”前往知乎专栏

↓↓↓

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存