开源可商用！Meta发布LLAMA2，将改变大模型市场格局
作者： Founder Park 来源： Founder Park
]()
[刚刚，Meta 发布了** LLAMA 2** 系列大语言模型，还有一个针对对话场景微调的 LLAMA 2-CHAT 模型 。
Meta 表示，在大多数评分测评中，LLAMA 2 表现优于所有开源的 chat 模型 ，「根据我们对有用性和安全性的人工评估，这可能是封闭模型的合适替代产 品。 」
在报告中，Meta AI 着重强调了 LLAMA 2 在安全性和可靠性方面的突破，接近 GPT 等非开源模型的表现，让 LLAMA 2 成为更实用的开源模型。
更重要的是，LLAMA 2 在开源的同时，宣布开放商用 ，并将部署在微软 Azure 上，后续将在 AWS 和 Hugging Face 等其他平台上分发。
（但是 Meta 提到，在发布前一个月，产品**月活超过 ** 7 亿 的公司，必须向 Meta 申请商用。网友：报了苹果、亚马逊和谷歌的身份证号）
「这将会改变 LLM 市场的格局 」，LeCun 在推特上郑重宣布。
Playground：llama2.ai
全面升级
1.4倍token，2倍上下文
LLAMA 2 是 LLAMA 1 的更新版本，使用一种新的混合的公开可用数据进行训练，预训练语料库大小增加 40%，上下文长度翻倍 ，采用了分组查询注意力（grouped-query attention，GQA）。
目前 LLAMA 2 的系列模型有 7B 、13B 和 70B 三种。
但 Meta AI 表示他们还在训练 34B 的版本，这次暂不发布。
同时 Meta 还发布了 LLAMA 2-chat ，基于 LLAMA 2 针对对话场景微调的版本，同样 7B、13B 和 70B 参数三个版本。
对话模型 LLAMA 2-CHAT 的训练：使用公开可用的在线资源，对 LLAMA 2 进行预训练，然后通过监督微调，创建初始版本的 LLAMA 2-CHAT。随后使用 RLHF 对模型进行迭代优化，具体包括拒绝抽样（rejection sampling）和近端策略优化（PPO）。在整个 RLHF 阶段汇总，积累迭代奖励建模数据，并同时改进模型非常重要，这能确保奖励模型保持在分布范围内。
LLAMA 2 的性能表现更加接近 GPT-3.5，Meta 也承认距离 GPT-4 和 PaLM 2 等领先非开源模型还有差距。 「但对于很多场景，你不需要 GPT-4」，Alpaca 研究团队的斯坦福基础模型研究中心主任 Percy Liang 在采访中说。
Meta 在技术报告中详细列出了 LLAMA 2 的性能、测评数据，以及分享了重要的训练方法，具体详见：
与微软结盟
为 Windows 优化
与此同时，Microsoft Inspire 活动上，微软与 Meta 宣布，Azure 和 Windows 将为 LLAMA 2 系列模型提供支持，微软成为 Meta 的首发合作伙伴，向商业客户提供服务。
LLAMA 2 是微软 Azure AI 模型目录的最新入驻模型。AI 模型目录目前在公测阶段。
LLAMA 系列模型已针对 Windows 优化，可以在本地运行。 Windows 开发者能通过 ONNX 运行时，以 DirectML 执行提供程序为目标来使用 LLAMA 模型。Windows 平台上开发的 LLAMA 2 应用，将可以通过 GitHub Repo 访问。
在此之前，微软和 Meta 已经在 AI 领域有较多的合作。ONNX Runtime 和 PyTorch 集成，Azure 也是 Meta 的战略云服务商。
微软的协同办公产品 Microsoft Teams 也在去年登陆了「Meta 的元宇宙」，用户可以在 Quest 设备上体验元宇宙办公。
在本周末北京的 AGI Playground 大会上，我们邀请了国内一线的开源大模型团队（IDEA 研究院的封神榜、智谱 AI 的 GLM 系列、RWKV 和百川智能等），以及坚定开源路线的 AI 新秀公司（Hugging Face、Stability AI、BentoML、TabbyML 等），在 2 天时间里，分享最新最先进的开源生态认知，手把手教你部署、微调开源模型。
更多信息，点击了解 👈🏻
如果你关注大模型领域，欢迎扫码加入我们的大模型交流群，来一起探讨大模型时代的共识和认知，跟上大模型时代的这股浪潮。
更多阅读
**AGI Playground，7.22 - 7.23 北京见！**
深度解读AI Agents：OpenAI研究多年，可能会改变互联网的软件终极形态
对话Midjourney创始人：图片只是第一步，AI将彻底改变学习、创意和组织
创业者深度解读苹果Vision Pro，XR行业的未来在哪里？
转载原创文章请添加微信：geekparker
更多AI工具，参考Github-AiBard123，国内AiBard123
