查看原文
其他

建设中国大模型生态,阿里云先行一步!

CSDN 2023-07-27

今年以来,ChatGPT浪潮席卷全球,国内科技公司纷纷下场,推出各家的生成式AI大模型,据数据统计,我国公开发布大模型超80个,可以用“如火如荼”来形容当前国内大模型发展现状。

通用大模型让大家看到了AI大规模落地的可行性,但大模型研发门槛高,放眼全球,能做出优质大模型的团队仍是少数;大模型的应用落地路径还不明朗,基于大模型的“杀手级应用”何时出现更是未知数。

这就好比,电已经被发现,电厂也开始少量出现,但电灯电视电冰箱还没影。从模型能力到生产力,从技术浪潮到人人可享的技术红利,中间还缺什么?

阿里云给出的判断是:缺少生态。

7月7日,在世界人工智能大会(WAIC 2023)上,阿里云CTO周靖人表态,“阿里云将把促进中国大模型生态的繁荣作为阿里云的首要目标,向大模型创业公司提供全方位的服务,包括最强大的智能算力和开发工具,并在资金和商业化探索方面提供充分支持。”

在各家专注打造自己的大模型氛围下,为何阿里云另辟蹊径强调“构建大模型生态”?让我们一探究竟。


AI模型,世界的中心


大模型的研发,是涉及底层算力、网络、存储、大数据、AI框架、AI模型等复杂技术的系统性工程,需要AI和云计算的全栈技术能力,需要极大的智力投入。到目前为止,大模型研发仍然只是少数处在技术金字塔尖的团队的游戏。

更多的大模型创业公司和AI开发者看好应用研发赛道,但基于大模型的应用开发不同于传统软件开发,从模型的选择、部署、推理、精调到商业化路线设计,成本很高,工具也很少。

一言以蔽之,门槛太高。想让AI走向大规模、可复制的大工业时代,唯有通过大模型生态建设,降低初创企业和AI开发者的进入门槛。

阿里云是业界最早洞察大模型生态缺陷的科技公司。去年11月,阿里云CTO周靖人在业界首次提出MaaS(Model as a Service,模型即服务)概念,也就是以AI模型为核心的开发范式,并推出AI模型社区魔搭,意在通过开源开放理念聚集最优秀的AI模型和AI开发者。

不到一个月,ChatGPT横空出世,大模型浪潮席卷全球。AI模型瞬间成为科技竞争的中心,拉开“大模型改造一切”的序幕。

恰逢其时的魔搭,上线不到一年就吸引了超过180万AI开发者和900多个优质AI模型,模型贡献者涵盖了国内大模型赛道核心玩家,如百川智能、IDEA研究院、澜舟科技、openBMB社区、启智社区、清华TSAIL等等。核心玩家为社区贡献了超过30个10亿以上参数规模的大模型,包括国内主流的一批开源大模型。

在AI开发者圈,魔搭社区已成中国大模型第一门户。所有模型生产者都可以上传自己的模型,验证模型的技术能力和商业化模式,并与其他社区模型进行协作,共同探索模型应用场景。任何开发者都可自由选择模型,借助社区的一系列工具进行模型的训练、推理、部署等等。

模型为什么会成为“世界的中心”?按照周靖人的观点,大模型的本质是对人类知识高度体系化的凝聚。大模型越是“易于获取”,就意味知识获取的成本越低。事实上,人类的技术发展历程,本就是逐步提升信息和知识获取效率的过程。比如,以前出门用纸质地图,现在只需导航软件。信息成本越低,生产生活的效率也就越高。

在智能时代,有效降低大模型的获取成本,发挥好大模型作为生产要素的能量,是比研发大模型更重要的课题。

模型服务,阿里云先行一步


MaaS概念提出不到一年,就已被业界广泛接受,成为行业标准。在今年的世界人工智能大会现场,大模型厂商几乎言必称MaaS。

MaaS概念是对未来云计算和AI发展路径的预判。如果把模型作为AI技术开发和应用的“首要载体”和“一等公民”,那么,云计算服务就要围绕AI模型的训练、推理、部署、精调、测评、产品化落地等各个环节展开。大模型时代,云计算的技术和服务架构需要被重新定义。

阿里云已经先行一步。作为业内最早布局大模型的科技公司之一,阿里云是全球为数不多拥有超万亿参数大模型研发经验的机构,其自研的通义系列大模型已发展成涵盖多个模型和产品的家族。

躬身入局,才知内里乾坤。基于深厚的云计算技术积淀和领先的AI研发经验,阿里云早早开始践行MaaS范式,搭建了一套以AI模型为核心的云计算技术和服务架构。这次大会,阿里云宣布,将其大模型经验、工具和平台全部对外开放,为大模型初创企业和开发者提供全方位服务。

在基础设施层,阿里云具备国内最强智能算力储备,其智算集群可支持最大十万卡GPU规模,承载多个万亿参数大模型同时在线训练,为大规模AI集群提供无拥塞通信的自研RDMA网络架构和低成本、高可靠的高性能存储CPFS。

AI平台层,以机器学习平台PAI为核心的PaaS服务可支持万卡的单任务分布式训练规模,覆盖全链路AI开发工具与大数据服务,AI训练效率提升可达10倍,推理效率提升可达6倍。

阿里云专门开发了名为“灵积”的模型服务平台,并且对外开放。平台有一系列自动化的模型上云统一工具链路,支持模型的自主接入,并提供了多种形式的部署方式,以满足不同模型的需求。平台还积累了模型自适应推理优化和高效微调训练的能力,并提供了基于插件进行模型能力拓展的系统框架。

目前,已有一批国内领先的大语言模型托管在灵积,包括阿里云自己的通义千问,三方机构研发的ChatGLM-v2、百川、姜子牙、Dolly等。据悉,魔搭社区也已打通与灵积平台的部署链路,社区所有模型都能通过灵积来实现服务化。

自由市场,让要素流动起来


为了让模型开发变得更容易,阿里云在发布会现场推出了一款令开发者耳目一新的工具:ModelScopeGPT(魔搭GPT)。它能够通过担任“中枢模型”的大语言模型一键调用魔搭社区其他的AI模型,实现大模型和小模型协同完成复杂任务。

这类智能调用工具被业界普遍看好。ModelScopeGPT 能够自动化完成多个模型联合参与的任务,例如利用语言模型的能力,完成上下连续的对话,并生成语音、文字和视频等多种模态的内容。此外它还能做相关的知识索引、知识增强,为开发者带来流畅、智能、一站式的开发体验。

ModelScopeGPT 目前能够调用魔搭社区十多个核心AI模型的API,未来,随着更多模型API的加入,其能力也将不断增强。阿里云表示,将对外开放构建ModelScopeGPT 的数据集和训练方案,开发者可以根据需要对不同的大模型和小模型进行组合,构建自己的模型调用方案。

ModelScopeGPT 的应用场景,远不止魔搭社区。与其说它是个工具,不如说是一套将模型生产力进行自由组合的方法。

魔搭社区作为“模型自由市场”,展现了大模型生态的未来图景:通过降低大模型的研发和使用的门槛,让AI模型和开发者作为生产要素,既有集聚、更有流动,在自由市场上寻找最优配置,借助群体智慧探索大模型的商业化路径,让AI普惠成为可能。

普惠AI、将AI大模型应用和渗透到各行各业中,无疑是一个艰巨的任务,需要全行业的共同参与和长期坚持。

建设中国大模型生态,推动行业模型和通用模型的有机融合,是当前人工智能领域面临的重要任务之一。只有全行业共同努力和创新,才能帮助我国大模型开发与应用迈上一个新台阶。因此,我们期待未来有更多的企业和开发者加入到中国大模型生态建设之中,共同推动人工智能技术的普及和应用,为构建数字化、智能化的新时代注入更强劲的动力。

欢迎大家关注魔搭社区的最新动态:modelscope.cn

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存