查看原文
其他

Meta发布首个开源可商用LLM,硬刚OpenAI和谷歌两大巨头

OSCHINA OSC开源社区 2023-07-20
出品 | OSC开源社区(ID:oschina2013)
Meta 和微软深度合作,正式推出下一代开源大语言模型 Llama 2,并宣布免费提供给研究和商业使用。
Llama 2 论文地址:https://ai.meta.com/research/publications/llama-2-open-foundation-and-fine-tuned-chat-models/
据介绍,相比于 Llama 1,Llama 2 的训练数据多了 40%,上下文长度是 Llama 1 的 2 倍,并采用了分组查询注意力机制。具体来说,Llama 2 预训练模型是在 2 万亿的 token 上训练的,微调 Chat 模型是在 100 万人类标记数据上训练的。
Meta 称 Llama 2 在许多外部基准测试中,包括推理、编码、熟练度和知识测试中,都超过其他模型表现。
Llama 2 包括 Llama 2 和 Llama 2-Chat,包含了 70 亿、130 亿和 700 亿参数 3 个版本,其中 Llama 2-Chat 针对双向对话进行了微调,并且跟 ChatGPT 类似, Llama 2-Chat 也经历了预训练阶段 (PT)、指令微调 (SFT) 以及人类反馈强化学习 (RLHF) 三个阶段。
Meta 表示 Llama 2 可免费用于研究和商业用途,开发者们可以直接在 Llama 2 官方网站下载该模型。
地址:https://ai.meta.com/resources/models-and-libraries/llama-downloads/

BTW,根据 Llama 2 的授权政策,如果企业的月活用户数超过 7 亿,则必须从 Meta 申请许可证。Meta 会对此类授权进行严格设限。


为了防止此前 LLaMA 泄漏后带来的深度伪造和色情聊天机器人等不良信息和产品的出现,Llama 2 已经过红队测试,避免模型产出不良和有害内容,并且为开发者们制定了使用指南和守则。
Meta 发布首个开源可商用大语言模型的举动,无疑是在硬刚 OpenAI 和谷歌两大巨头。毕竟 OpenAI 的 GPT-4 和谷歌的 PaLM 2 走的都是 “技术保密路线”。Meta 首席科学家、图灵奖获得者 Yann LeCun 认为,Meta 此举可能将改变大模型行业的竞争格局。
扎克伯格还在 Facebook 上发帖表示:“Meta 有着悠久的开源历史,开源推动创新,它让更多开发人员能够使用新技术进行开发,同时提高了技术的安全性。我们相信如果生态系统更加开放,将会带来更多进步,这就是我们开源 Llama 2 的原因。”
话说回来,微软现在左拥 Meta,右抱 OpenAI,这不是妥妥的脚踏两条船吗?
相关链接:
  • https://ai.meta.com/llama/
  • https://ai.meta.com/blog/llama-2/
  • https://www.facebook.com/zuck/posts/pfbid02j7TCKZHRe1X4K3DA7EdA96q6Cx7DS3ZixKyrqsyx7NvUwx9X88V18nnqLF3BAsXjl


往期推荐



CentOS 项目宣称 “向所有人开放”
微软推出新的默认字体Aptos替代Calibri,网友:I、l终于能分清了
微软:Rust安全可靠,Windows内核加大力度使用



这里有最新开源资讯、软件更新、技术干货等内容

点这里 ↓↓↓ 记得 关注✔ 标星⭐ 哦


您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存