AI 新工具

AI新工具(20241025) Genmo团队开发的前沿AI视频生成模型;Fragments支持安全执行 AI 生成的代码;Meta开源从视频中学习仿生





✨ 1: Mochi 1

Mochi 1是一个先进的视频生成模型,具有高保真度和强大的提示遵循能力。

Mochi 1是由Genmo团队开发的前沿视频生成模型,它是当前开源视频生成技术的重大进展,具有高保真度的运动和强烈的提示遵循能力。该模型基于一种新的不对称扩散变换器(AsymDiT)架构,拥有100亿个参数,能够在开放和封闭视频生成系统之间缩小差距。Mochi 1以Apache 2.0许可发布,并可在其官方网站的在线平台上免费试用。

Mochi 1的高效性和灵活性使其在多种行业中都有很大的潜力,虽然当前在480p分辨率下生成视频,且对动画内容表现不佳,但随着社区的持续改进和优化,未来可能会扩展更多功能和应用场景。

地址:https://github.com/genmoai/models

✨ 2: Fragments by E2B

Fragments by E2B 是一个开源项目,支持安全执行 AI 生成的代码,兼容多种技术栈和 LLM 提供商。

Fragments by E2B 是一个开源项目,基于 Anthropics 的 Claude Artifacts、Vercel v0 和 GPT Engineer 开发。该项目利用 E2B SDK 来安全地执行由人工智能生成的代码,支持多种编程语言和技术栈。

地址:https://github.com/e2b-dev/fragments

✨ 3: POC Python Realtime API o1 assistant

该项目展示了如何使用OpenAI的实时API构建个性化AI助手,支持工具链和结构化输出。

POC Python Realtime API o1助手是一个概念验证项目,旨在利用OpenAI的实时API,实现工具链的调用、o1-preview和o1-mini的集成、结构化输出的响应处理,从而展望未来的智能助手工程。该项目包含许多核心思想,旨在打造个人化的实时AI助手与AI代理。虽然目前的代码版本(v0.3)存在一些bug,但提供了丰富的功能和使用场景。

该助手通过音频输入/输出、多种工具集成和记忆管理,实现与用户的互动,支持个性化设置。用户可以通过修改配置文件来定制助手的行为,包括浏览器链接、助理名称、SQL方言等。

地址:https://github.com/disler/poc-realtime-ai-assistant

✨ 4: Agent-to-Sim

Agent-to-Sim项目通过学习日常视频中的互动行为,推动了4D重建和动作生成技术的发展。

Agent-to-Sim(A2S)是一个旨在从日常视频中学习交互行为的项目。通过分析丰富的视觉和动作信息,A2S可以生成3D重建和运动生成。该项目主要应用于需要模仿和理解人类或动物行为的情境,特别是在强化学习和机器人技术等领域。

地址:https://github.com/facebookresearch/agent2sim

✨ 5: Agent-0

Agent-0是一个概念验证项目,旨在模仿OpenAI O1模型的推理能力,通过链式思考技术逐步优化编码问题的解决方案。

Agent-0 是一个旨在复制 OpenAI 新发布的 O1 模型推理能力的概念证明项目。O1模型利用链式思维提示和强化学习,通过不断反思其解决方案来改善响应。Agent-0 旨在使用其他替代模型模拟这种推理行为。

在这个实现中,Agent-0 使用一个基于顺序代理的系统,依托 Gemini API(或任何具有函数调用能力的模型)。该系统能够针对编码相关的问题提出解决方案,并在每个阶段通过链式思维和反思技术进行迭代优化。由于 Gemini API 具备代码执行能力,非常适合用于此项目。虽然它也可以与 Gemini Flash 配合使用,但建议使用 Pro 版本,以避免外部包依赖问题,因为 Pro 版本一般会遵循 Python 的标准库。

地址:https://github.com/PromtEngineer/Agent-0



更多AI工具,参考国内AiBard123Github-AiBard123 公众号:每日AI新工具

可关注我们的公众号:每天AI新工具

广告:私人定制视频文本提取,字幕翻译制作等,欢迎联系QQ:1752338621