AI 日报

202300714 GPT-4:1.8万亿参数、混合专家模型揭秘





🦉 AI新闻

🚀 谷歌的AI聊天工具Bard更新,增加中文支持

摘要:谷歌的AI聊天工具Bard新增中文环境,用户可以使用简体和繁体中文进行交流。然而,与竞品相比,Bard的回复略显生硬,语义理解还有待提升。此外,谷歌还更新了Bard的日志页面,新增了40多种语言支持,并增加了与Bard对话时上传图片和文字的功能。此外,用户还可以使用文字转语音功能,固定对话、整理对话,并分享Bard对话内容。对于需要微调Bard回答的用户,还提供了5个选项来修改回答内容。谷歌Bard AI目前处于测试阶段,用户只需使用谷歌账号登录即可使用。

🚀 GPT-4:1.8万亿参数、混合专家模型揭秘

摘要:外媒Semianalysis揭秘了OpenAI发布的GPT-4的具体信息。GPT-4由120层构成,总共含有1.8万亿个参数,远超GPT-3的1750亿个参数。为了控制成本,OpenAI采用混合专家模型进行构建,使用了16个混合专家模型,每个模型含有1110亿个参数。GPT-4使用了包含13万亿tokens的数据集进行训练,并具有550亿个共享注意力参数。训练成本极高,OpenAI选择使用云端的A100 GPU来降低最终训练成本,约为2150万美元左右。

🚀 Meta推出商用版本AI模型,与OpenAI和谷歌竞争

摘要:Meta计划发布其人工智能模型的商用版本,允许初创公司和企业基于该技术构建定制软件,与OpenAI和谷歌展开竞争。早些时候,Meta向研究人员发布了自有大语言模型LLaMA。新版本将更广泛地提供给企业,并可由企业定制。LLaMA模型参数从70亿到650亿不等,即使使用参数仅为LLaMA的1/10(130亿)也能超越大部分基准测试中的GPT-3。Meta的这一举动将进一步加剧人工智能领域的竞争。

🚀 谷歌被控窃取用户数据用于训练人工智能产品

摘要:一项新的集体诉讼指控谷歌在未经用户同意的情况下窃取用户数据,用于训练其人工智能产品。该诉讼声称谷歌秘密收集了数亿美国人创作和分享的一切内容,并将其用于构建AI产品。诉讼还指称谷歌从订阅网站和盗版书籍等来源窃取数据。谷歌对指控表示“毫无根据”,并称其使用公开可用的信息进行训练,并遵守相关法律和AI原则。此前,谷歌还面临类似窃取数据的指控。

🚀 马斯克新公司xAI将探索宇宙本质

摘要:马斯克在推特宣布成立公司xAI,旨在理解宇宙本质。这一动作引起了广泛关注。xAI的创始团队由马斯克领导,包括谷歌学术和ChatGPT项目组成员等。华人占据团队多个席位。xAI将与Twitter、特斯拉、SpaceX等公司紧密合作。马斯克的举动令人惊讶,引发了广泛讨论。xAI官网上详细列出了团队成员的经历,其中包括曾在OpenAI和DeepMind等公司工作的成员。这一消息让人们兴奋并充满期待。

🗼 AI知识

🔥 微调LLAMA的中文指南

本项目旨在引导中文用户微调Large Language Model(LLAMA),整合了目前多个框架(Minimal LLaMA、Alpaca、LMFlow),尽量避免不必要的封装,保证代码可读性。

🔥 如何写好ChatGPT Prompt

gpt-prompt-engineer是一个工具,可帮助使用GPT-4和GPT-3.5-Turbo的任务中寻找最佳提示。它根据任务描述和测试案例生成提示,并使用ELO评分系统进行测试和排序。该工具还提供了用于分类任务的分类版本。用户可以输入使用案例和测试案例,生成提示,并评估其性能。

更多AI工具,参考国内AiBard123, Github-AiBard123

可关注我们的公众号:每天AI新工具

广告:私人定制视频文本提取,字幕翻译制作等,欢迎联系QQ:1752338621