AI新工具(20240614) 多语言模型中的自主沟通代理CAMEL;通用的人工智能基准ARC-AGI;2D重光模型Neural Gaffer;从低分辨率到高分辨率的3D模型转换
✨ 1: CAMEL
致力于研究多语言模型中的自主沟通代理
CAMEL(Communicative Agents for “Mind” Exploration of Large Language Model Society)是一个旨在研究自动化沟通代理的开源框架,借助大规模语言模型(LLM),探索代理之间的自主合作及其“认知”过程。CAMEL的核心理念是通过角色扮演(Role-Playing)和初始引导(Inception Prompting),指导聊天代理完成任务,同时保持与人类意图的一致性。
研究多代理系统的合作行为和能力: CAMEL框架可以生成对话数据,研究聊天代理的行为和能力,提供一个可扩展的方法来研究多代理系统的合作动态。
自动化任务分配与执行: 如在股票交易机器人开发过程中,通过两个ChatGPT代理分别扮演Python程序员和股票交易员协同工作,自动化完成复杂的任务。
学术研究与数据集生成: 为研究人员提供一个开源的平台以支持在自主沟通代理上的学术研究,并生成不同领域的数据集(如AI社会、编码、数学、物理、化学和生物学)。
地址:https://github.com/camel-ai/camel
✨ 2: ARC-AGI
人工通用智能的任务数据集和测试界面
ARC-AGI(Abstraction and Reasoning Corpus for Artificial General Intelligence)是一个用于测试人工通用智能的基准数据集和工具平台。它可以被看作是一个程序合成基准或心理测量智力测试,目标是在模拟人类流体智力方面对人类和人工智能系统进行评估。
ARC-AGI数据集包括两部分内容:训练任务和评估任务,各有400个任务。这些任务以JSON格式存储,每个任务包括多个输入输出的示例对(训练对)和测试对。每个“对”都包含一个输入网格和一个对应的输出网格,这些网格由矩形的整数矩阵构成,整数值范围从0到9。任务要求测试者在3次尝试内构建正确的输出网格。
使用场景包括但不限于:
人工智能研究:可以用于开发和评估新的人工智能算法,挑战AI在通用认知任务上的表现。 心理学和认知科学:通过对比人类和AI在这些任务上的表现,深入研究人类认知与智能。 教育和培训:作为一种工具来训练和提高逻辑推理与问题解决能力。
为了便于用户解决这些任务,该平台还提供了一个基于浏览器的交互界面,允许用户手动尝试解决任务,界面上允许用户调整网格大小、选择颜色、复制粘贴等操作,并提供提交答案的功能。
地址:https://github.com/fchollet/ARC-AGI
✨ 3: Neural Gaffer
Neural Gaffer 是一种2D重光模型,可在单张图像上实现多种光照效果。
Neural Gaffer是一个端到端的2D重新照明扩散模型,能够在单张图像下对任何物体进行精确的重新照明,并适应多种光照条件。通过与其他生成方法的结合,该模型可以实现许多下游的2D任务,如基于文本的重新照明和物体插入。Neural Gaffer还可以作为3D任务的强大重新照明先验,如对光辐射场进行重新照明。
单张图片重新照明:对任何物体在不同光照条件下进行精确的重新照明。 基于文本的重新照明:结合生成方法,实现基于文本描述的照明效果变化。 物体插入:在图像中插入新的物体并对其进行相应的照明处理。 3D任务:作为强大的重新照明先验,用于例如光辐射场等的重新照明。
目前代码还没有开源
地址:https://github.com/Haian-Jin/Neural_Gaffer
✨ 4: Tiny AI Client
Tiny AI Client 是一个简洁易用的工具,支持快速切换和使用多种LLM模型,并具备视觉和工具功能。
Tiny AI Client 是一种灵感来自于 tinygrad 和 simpleaichat 的轻量级接口,旨在提供最简便的方式来使用和切换大语言模型(LLM),同时支持图像处理和工具使用。其设计理念是保持简单、易用以及开发过程中的趣味性。
更换LLM模型:开发者可以轻松更换LLM模型,只需改动模型名称即可。
发送消息:使用简便的接口发送和接收消息,例如 msg: str = ai("hello")
。
工具集成:支持通过函数的方式集成各种工具,函数的参数类型通过 pydantic.BaseModel
继承。
图像处理:支持传递单个或多个 PIL.Image.Image
文件进行处理。
视频处理:可以传递 PIL.Image.Image
列表来处理视频。
地址:https://github.com/piEsposito/tiny-ai-client
✨ 5: SuperGaussian
SuperGaussian 重新利用视频模型进行3D超分辨率,实现从低分辨率到高分辨率的3D模型转换。
SuperGaussian是一种创新方法,旨在将现有的视频超分辨率方法重新用于3D超分辨率任务。此方法能够处理各种输入类型,如NeRFs、Gaussian Splats、从嘈杂扫描中获得的重建、由最新的文本生成3D方法生成的模型或低多边形网格。SuperGaussian可以以高分辨率的Gaussian Splats形式生成具有丰富几何和纹理细节的3D输出。
地址:https://supergaussian.github.io
更多AI工具,参考国内AiBard123,Github-AiBard123 公众号:每日AI新工具
广告:私人定制视频文本提取,字幕翻译制作等,欢迎联系QQ:1752338621